[发明专利]一种分布式任务调度系统及方法

权利要求书

1.一种分布式任务调度系统，其特征在于，所述系统包括：

任务提交集群、任务调度集群以及任务执行集群；所述任务提交集群包括多个任务客户端节点，所述任务调度集群包括多个任务调度节点，所述任务执行集群包括多个任务执行节点；

所述任务提交集群中的所述任务客户端节点用于向所述任务调度集群提交任务；

所述任务调度集群中的所述任务调度节点用于接收所述任务，生成所述任务的任务分配信息，按照所述任务分配信息将所述任务发送给所述任务执行集群；

所述任务执行集群中的所述任务执行节点用于执行所述任务并将执行结果返回给提交任务的任务客户端节点。

2.根据权利要求1所述的系统，其特征在于，所述任务调度节点包括主任务调度节点以及从任务调度节点，所述任务执行节点包括主任务执行节点以及从任务执行节点；

所述主任务调度节点用于从所述任务客户端节点接收所述任务，并将所述任务分配给任意一个从任务调度节点；

所述从任务调度节点用于在接收到所述任务后生成所述任务的任务分配信息，按照所述任务分配信息将所述任务发送给所述任务执行集群；

所述主任务执行节点用于接收所述任务，并将所述任务分配给从一个或多个任务执行节点；

所述从任务执行节点用于在接收到所述任务后执行所述任务并将执行结果返回给提交任务的任务客户端节点。

3.根据权利要求2所述的系统，其特征在于，所述系统还包括：

分布式系统的可靠协调系统zookeeper节点，所述zookeeper节点分别与所述任务提交集群、所述任务调度集群以及任务执行集群相连；

所述zookeeper节点用于保持与各个所述任务客户端节点、各个所述任务调度节点以及各个所述任务执行节点的连接，保存各个所述任务客户端节点、各个所述任务调度节点以及各个所述任务执行节点的连接信息；根据各个所述任务调度节点的连接信息在所述任务调度节点中确定所述主任务调度节点以及所述从任务调度节点；根据各个所述任务执行节点的连接信息在所述任务执行节点中确定所述主任务执行节点以及所述从任务执行节点。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述系统还包括：

公共服务模块，所述任务提交集群通过所述公共服务模块与所述任务调度集群相连，所述任务调度集群通过所述公共服务模块与所述任务执行集群相连，所述任务执行集群通过所述公共服务模块与所述任务提交集群相连。

5.根据权利要求4所述的系统，其特征在于，所述公共服务模块包括：

消息中间件、分布式数据库以及分布式缓存；

所述分布式数据库用于保存所述任务的任务分配信息、所述任务的执行日志以及所述执行结果；

所述消息中间件用于接收所述任务客户端节点向所述任务调度集群提交的任务，将所述任务发送到所述任务调度集群；接收所述任务调度节点向所述任务执行集群发送的所述任务，将所述任务发送到所述任务调度集群；接收所述任务执行节点向所述提交任务的任务客户端节点发送的执行结果，将所述执行结果发送到所述提交任务的任务客户端节点；

所述分布式缓存用于当所述执行结果需要缓存时缓存所述执行结果。

6.一种分布式任务调度方法，其特征在于，所述方法应用于分布式任务调度系统，所述系统包括：任务提交集群、任务调度集群以及任务执行集群；所述任务提交集群包括多个任务客户端节点，所述任务调度集群包括多个任务调度节点，所述任务执行集群包括多个任务执行节点；所述方法包括：

所述任务提交集群中的所述任务客户端节点向所述任务调度集群提交任务；

所述任务调度集群中的所述任务调度节点接收所述任务，生成所述任务的任务分配信息，按照所述任务分配信息将所述任务发送给所述任务执行集群；

所述任务执行集群中的所述任务执行节点执行所述任务并将执行结果返回给提交任务的任务客户端节点。