[发明专利]一种基于时间轮和拓扑排序的分布式任务调度方法及系统

说明书

本发明涉及一种基于时间轮和拓扑排序的分布式任务调度方法，包括如下步骤：包括如下步骤：S1：进行作业组的批量配置，并将配置后的作业组保存至配置库中，通过调度任务线程对配置库进行作业组及作业运行状态库的更新，根据作业运行状态库进行作业信息的获取并发送至消息队列；S2：进行消息队列中待执行的作业组信息的获取，执行器根据服务器资源占比进行该作业组的执行状态判定；S3：对所批量配置的作业组进行执行状态的统计。本发明提供了一种基于时间轮和拓扑排序的分布式任务调度方法，解决了现有技术中大数据批量任务并发难、服务器资源不能得到充分利用的问题，同时还提高了任务处理的效率以及资源的利用率。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于时间轮和拓扑排序的分布式任务调度方法及系统。

背景技术

任务调度随着技术发展，从单线程调度到多线程调度，从单机部署到集群部署，从独立执行到多任务分布式执行。目前基于分布式的大数据任务调度系统大部分基于Quartz框架开发，随着大数据业务应用的加深，异构数据源越来越多，数据采集频率越来越快，ETL定时任务数量与日俱增，任务的形态各种各样，面对各式各样的任务作业，有的采用数据库脚本实现，有的使用批处理脚本来实现，从业务系统到作业系统，再到批量作业调度系统，各企业采用的批量作业调度方式不尽相同，目前大多数作业调度方式均采用分布式任务调度方式来进行实施，但目前采用分布式任务调度方法进行作业调度时往往存在许多问题，比如在调度过程中，服务器资源不能得到充分利用、任务不能并发执行等问题，因此，需要在现有技术的基础上加以改进，提供一种能够解决此问题的分布式任务调度方法。

发明内容

针对现有技术的不足，本发明提供了一种基于时间轮和拓扑排序的分布式任务调度方法，解决了现有技术中大数据批量任务并发难、服务器资源不能得到充分利用的问题，同时还提高了任务处理的效率以及资源的利用率。

为了实现本发明的目的，本发明提供一种基于时间轮和拓扑排序的分布式任务调度方法，包括如下步骤：

S1：进行作业组的批量配置，并将配置后的作业组保存至配置库中，通过调度任务线程对配置库进行作业组及作业运行状态库的更新，根据作业运行状态库进行作业信息的获取并发送至消息队列；

S2：进行消息队列中待执行的作业组信息的获取，执行器根据服务器资源占比进行该作业组的执行状态判定；

S3：对所批量配置的作业组进行执行状态的统计。

优选地,所述步骤S1中进行作业组的批量配置，并将配置后的作业组保存至配置库中的具体步骤为：

进行作业组及作业组下多层级作业的批量配置，并将配置后的作业组及多层级作业的信息保存至配置库中；

其中：作业组参数包括调度表达式和依赖作业组，作业参数包括kettle文件、预警规则、作业运行参数及路由策略。

优选地,所述步骤S1中根据作业运行状态库进行作业信息的获取并发送至消息队列的具体步骤为：

从作业运行状态库中获取待执行的作业组信息，当获取的作业组为依赖作业组时，采用拓扑排序算法对作业组进行顺序排列，根据作业组的触发时间戳进行取模并放入哈希表的时间槽，根据时间轮线程获取哈希表中的作业组列表，并将获取的作业组下的子作业信息发送至消息队列。

优选地,所述步骤S1根据作业运行状态库进行作业信息的获取还包括：

当获取的作业组为无依赖作业组时，根据作业组的触发时间戳与时间槽刻度取模后放入哈希表中的时间槽。

优选地,所述步骤S2中执行状态判定具体包括：

当服务器资源占比大于第一预设值时，执行器拒绝执行当前作业组，并将当前作业组重新发送至消息队列中；

当服务器资源占比小于第二预设值时，执行器正常执行当前作业组。