[发明专利]一种基于时间轮和拓扑排序的分布式任务调度方法及系统

权利要求书

1.一种基于时间轮和拓扑排序的分布式任务调度方法，其特征在于，包括如下步骤：

S1：进行作业组的批量配置，并将配置后的作业组保存至配置库中，通过调度任务线程对配置库进行作业组及作业运行状态库的更新，根据作业运行状态库进行作业信息的获取并发送至消息队列；

S2：进行消息队列中待执行的作业组信息的获取，执行器根据服务器资源占比进行该作业组的执行状态判定；

S3：对所批量配置的作业组进行执行状态的统计。

2.如权利要求1所述的分布式任务调度方法，其特征在于，所述步骤S1中进行作业组的批量配置，并将配置后的作业组保存至配置库中的具体步骤为：

进行作业组及作业组下多层级作业的批量配置，并将配置后的作业组及多层级作业的信息保存至配置库中；

其中：作业组参数包括调度表达式和依赖作业组，作业参数包括kettle文件、预警规则、作业运行参数及路由策略。

3.如权利要求1所述的分布式任务调度方法，其特征在于，所述步骤S1中根据作业运行状态库进行作业信息的获取并发送至消息队列的具体步骤为：

从作业运行状态库中获取待执行的作业组信息，当获取的作业组为依赖作业组时，采用拓扑排序算法对作业组进行顺序排列，根据作业组的触发时间戳进行取模并放入哈希表的时间槽，根据时间轮线程获取哈希表中的作业组列表，并将获取的作业组下的子作业信息发送至消息队列。

4.如权利要求1所述的分布式任务调度方法，其特征在于，所述步骤S1根据作业运行状态库进行作业信息的获取还包括：

当获取的作业组为无依赖作业组时，根据作业组的触发时间戳与时间槽刻度取模后放入哈希表中的时间槽。

5.如权利要求1所述的分布式任务调度方法，其特征在于，所述步骤S2中执行状态判定具体包括：

当服务器资源占比大于第一预设值时，执行器拒绝执行当前作业组，并将当前作业组重新发送至消息队列中；

当服务器资源占比小于第二预设值时，执行器正常执行当前作业组。

6.如权利要求1所述的分布式任务调度方法，其特征在于，所述步骤S3之后还包括步骤S4，所述步骤S4包括：

根据所统计的作业组的执行状态，针对执行状态为失败的作业信息进行异常预警提示。

7.一种基于时间轮和拓扑排序的分布式任务调度系统，其特征在于，包括：

任务配置模块：进行作业组的批量配置，并将配置后的作业组保存至配置库中；

任务调度模块：通过调度任务线程对配置库进行作业组及作业运行状态库的更新，根据作业运行状态库进行作业信息的获取并发送至消息队列；

任务执行模块：进行消息队列中待执行的作业组信息的获取，执行器根据服务器资源占比进行该作业组的执行状态判定；

任务监控模块：对所批量配置的作业组进行执行状态的统计。

8.如权利要求7所述的分布式任务调度系统，其特征在于，所述任务调度模块具体用于：

从作业运行状态库中获取待执行的作业组信息，当获取的作业组为依赖作业组时，采用拓扑排序算法对作业组进行顺序排列，根据作业组的触发时间戳进行取模并放入哈希表的时间槽，根据时间轮线程获取哈希表中的作业组列表，并将获取的作业组下的子作业信息发送至消息队列；

当获取的作业组为无依赖作业组时，根据作业组的触发时间戳与时间槽刻度取模后放入哈希表中的时间槽。

9.如权利要求7所述的分布式任务调度系统，其特征在于，所述任务执行模块具体用于：

当服务器资源占比大于第一预设值时，执行器拒绝执行当前作业组，并将当前作业组重新发送至消息队列中；

当服务器资源占比小于第二预设值时，执行器正常执行当前作业组。

10.如权利要求7所述的分布式任务调度系统，其特征在于，所述任务监控模块还用于：

根据所统计的作业组的执行状态，针对执行状态为失败的作业信息进行异常预警提示。