[发明专利]一种分布式调度处理方法及系统

说明书

一种分布式调度处理方法及系统，通过主控端获取前端传递的任务节点信息，将任务执行脚本拷贝到节点机器运行并启动脚本；当节点创建成功，通过主控端从数据库中获取配置信息，依次与节点建立socket连接，发送带有连接口令的数据包并建立心跳；节点接收到带有连接口令的数据包，对带有连接口令的数据包解析并校验；如果主控端成功下发任务执行指令，节点拆分并解析主控端传输的结构体信息；节点与主控端建立远程调用长连接，并创建任务队列和结果队列。本发明采用分布式的任务调度机制，提高数据收集能力，分布式任务节点不会保存主控痕迹，最大可能减少反溯源风险；采用分布检测方式，可以过滤并交叉去重检测目标数据量，提高漏洞检测效率。

技术领域

本发明涉及一种分布式调度处理方法及系统，属于自动化漏洞数据处理技术领域。

背景技术

目前，分布式任务队列设计，主控端通过BaseManager(异步控制进程的方法)控制任务进程下发，分布式节点执行，并异步返回结果，提高任务执行效率，减少主控端暴露的风险。任务调度执行机制，采用APScheduler(复合型任务调度框架)调度框架确定调度对象可持续性周期调用，并设定离线和重试机制，避免因系统异常导致任务下发执行周期无法触发问题，最大限度保证任务调度触发的稳定。

现有技术中，基于分布式任务队列设计，如果是反向连接方式，容易暴露主控端的连接地址，产生主控反溯源安全风险。基于现有的数据收集的功能，没办法全量收集互联网上全部的数据，势必会对全网漏洞验证的数量产生差异。基于现有的漏洞检测功能，存在检测数据量大，耗时时间长，检测准确率低的问题。

发明内容

为此，本发明提供一种分布式调度处理方法及系统，解决分布式任务节点保存主控痕迹，存在主控反溯源风险，及任务容易出现异常的问题。

为了实现上述目的，本发明提供如下技术方案：一种分布式调度处理方法，包括以下步骤：

节点部署：通过主控端获取前端传递的任务节点信息，将任务执行脚本拷贝到节点机器运行并启动脚本；

节点连接：当节点创建成功，通过主控端从数据库中获取配置信息，依次与节点建立socket连接，发送带有连接口令的数据包并建立心跳；

口令校验：节点接收到带有连接口令的数据包，对带有连接口令的数据包解析并校验；

执行指令：如果主控端成功下发任务执行指令，节点拆分并解析主控端传输的结构体信息；节点与主控端建立远程调用长连接，并创建任务队列和结果队列。

作为分布式调度处理方法的优选方案，节点部署过程中，所述任务节点信息包括节点地址、节点端口和连接口令，通过连接口令连接节点；

如果脚本运行成功，通过主控端存储该节点地址、连接端口、连接口令状态，等待连接；如果脚本运行失败，向前端返回节点部署失败的消息；

节点连接过程中，通过主控端从数据库中获取的配置信息包括节点地址、节点端口和连接口令。

作为分布式调度处理方法的优选方案，口令校验过程中，如果口令错误，则向主控端发送拒绝连接的标志，并主动断开连接，同时停止心跳；如果口令正确，则向主控端发送口令验证通过的标志，等待接受主控端下发的指令交互。

作为分布式调度处理方法的优选方案，执行指令过程中，解析主控端的结构体信息包括连接地址、连接端口、连接密钥、函数库依赖、应用识别指纹和任务执行脚本；

执行指令过程中，主控端将任务放入任务队列，节点从任务队列中读取任务，将读取的任务发送给异步任务执行器对象；

所有任务指令执行完成后，将记录的任务结果放入结果队列，主控端从结果队列中获取任务结果后存入数据库。