跳到主要内容

msray-plus 1.4.0 发布

· 阅读需 3 分钟
admin
msray project team
去除agent数据库信息。直接由txt载入到内存中;
更改logger日志信息组件;
IP数据库更新;
配置文件更新;
爬虫(外链)引擎任务队列引擎,改用自研队列组件代替了redis相关操作;
爬虫(外链)引擎任务种子数据存储引擎,改用自研方案代替了redis相关存储;
任务数量统计算法重写与升级,基于内存存储任务结果数量,然后定时更新同步到数据库,提升效率并减少了大量磁盘IO操作;
数据重复判断引擎,改用自研布隆过滤器加强版实现,取代redis相关操作,性能与资源占用大量提升;
入库算法更新,循环单次入库,改为批量入库,减少大量磁盘IO操作;
新增任务对应的被方案过滤结果数量、被重复过滤数量显示;
已采集关键词判断逻辑优化;
命令行提示信息优化,授权信息格式化后显示在顶部,方便识别与查找;
优化任务执行队列,修复部分情况下导致任务排队中需要重启的问题;
重写关键词拓展引擎,改为按需拓展。无需指定线程数!当可用种子关键词不足时,自动触发。防止关键词拓展速度大于消费速度导致的资源浪费与性能降低;
优化程序算法,减少大量redis操作,避免redis占用与并发瓶颈引发的问题。