[发明专利]一种分布式定时任务调度方法及系统

权利要求书

1.一种分布式定时任务调度方法，其特征在于，所述方法包括：

获取用户提交的目标任务集合，生成对应的目标任务集合标识，其中所述目标任务集合中包含至少一个任务；

将所述目标任务集合解析并写入进数据库，并将目标任务集合标识通过消息队列发送给任务调度器集群；

任务调度器集群获取Zookeeper中注册的当前可用的任务执行器地址，通过所述目标任务集合标识将所述数据库中的目标任务集合下发到任务执行器集群中，并将所述任务调度器集群的负载状态上报给监听器集群；

任务执行器集群获取并执行所述目标任务集合中的各个任务，并将所述任务执行器集群的负载状态上报给监听器集群；

监听器集群根据所述任务调度器集群的负载状态与预设调度阈值对所述任务调度器集群进行扩缩容；根据所述任务执行器集群的负载状态与预设执行阈值对所述任务执行器集群进行扩缩容。

2.根据权利要求1所述的方法，其特征在于，将所述目标任务集合解析写入进数据库，包括：

通过parse engine对所述目标任务集合进行配置文件解析，并将解析后的目标任务集合存入数据库。

3.根据权利要求1所述的方法，其特征在于，在任务调度器集群获取Zookeeper中注册的当前可用的任务执行器地址之前，所述方法还包括：

监听器集群通过Zookeeper的API接口在Zookeeper中注册的当前可用的任务执行器列表，所述任务执行器列表中包括任务执行器地址。

4.根据权利要求3所述的方法，其特征在于，所述Zookeeper通过Watcher机制监控任务执行器列表里数据的变化，并始终将最新的任务执行器列表下发到任务调度器集群，任务调度器集群根据最新的任务执行器列表中的可用任务执行器进行任务指派。

5.根据权利要求1所述的方法，其特征在于，所述目标任务集合包括集合状态，目标任务集合中的任务包括任务状态，通过所述集合状态和所述任务状态上报任务执行进度；

其中，所述集合状态和任务状态均至少包括初始状态、接受状态，执行中状态、失败状态、取消状态以及成功状态。

6.根据权利要求1所述的方法，其特征在于，监听器集群根据所述任务执行器集群的负载状态与预设执行阈值对所述任务执行器集群进行扩缩容，包括：

通过任务执行器备用池对所述任务执行器集群进行扩缩容。

7.根据权利要求1所述的方法，其特征在于，所述数据库中包括Job表和Task表，所述Job表用于存放任务集合数据，所述Task表用于存放任务数据。

8.一种分布式定时任务调度系统，其特征在于，所述系统包括：

获取模块，用于获取用户提交的目标任务集合，生成对应的目标任务集合标识，其中所述目标任务集合中包含至少一个任务；

解析模块，用于将所述目标任务集合解析并写入进数据库，并将目标任务集合标识通过消息队列发送给任务调度器集群；

任务调度器集群，用于获取Zookeeper中注册的当前可用的任务执行器地址，通过所述目标任务集合标识将所述数据库中的目标任务集合下发到任务执行器集群中，并将所述任务调度器集群的负载状态上报给监听器集群；

任务执行器集群，用于获取并执行所述目标任务集合中的各个任务，并将所述任务执行器集群的负载状态上报给监听器集群；

监听器集群，用于根据所述任务调度器集群的负载状态与预设调度阈值对所述任务调度器集群进行扩缩容；根据所述任务执行器集群的负载状态与预设执行阈值对所述任务执行器集群进行扩缩容。

9.根据权利要求8所述的系统，其特征在于，所述监听器集群，还用于：

通过Zookeeper的API接口在Zookeeper中注册的当前可用的任务执行器列表，所述任务执行器列表中包括任务执行器地址。

10.根据权利要求9所述的系统，其特征在于，所述Zookeeper通过Watcher机制监控任务执行器列表里数据的变化，并始终将最新的任务执行器列表下发到任务调度器集群，任务调度器集群根据最新的任务执行器列表中的可用任务执行器进行任务指派。