[发明专利]一种分布式任务调度系统及方法

说明书

技术领域

本申请涉及计算机计算领域，具体涉及一种分布式任务调度系统及方法。

背景技术

云计算技术经过多年的发展已经日渐成熟，虚拟化、云网络以及云安全等技术在不断发展。云计算给社会带来的IT(Internet Technology，互联网技术)服务按需使用、IT资源高效利用、绿色节能等巨大的经济效益和社会效益，不仅使美国、欧盟、日本等发达国家的政府将其列入国家发展战略，甚至亚非拉等广大发展中国家也已经非常重视，各国国家级数据中心已经在雨后春笋般地建设。云计算大规模应用的技术条件和环境已经具备，云数据中心的建设已经成为业界不可扭转的趋势。

在现有技术中，单点的数据中心对提交的任务进行调度执行时会面临大任务、高并发的挑战，随着业务的扩张和功能的累积，对任务处理的要求越来越高，既要保证高效性，又要保证安全性、准确性的需求下，现有的数据中心任务调度方式无法高效处理任务的调度执行，很难适应快速变更的需求。

发明内容

有鉴于此，本申请提供一种分布式任务调度系统及方法，以解决现有技术中存在的无法高效处理任务调度执行的技术问题。

为解决上述问题，本申请提供的技术方案如下：

一种分布式任务调度系统，所述系统包括：

任务提交集群、任务调度集群以及任务执行集群；所述任务提交集群包括多个任务客户端节点，所述任务调度集群包括多个任务调度节点，所述任务执行集群包括多个任务执行节点；

所述任务提交集群中的所述任务客户端节点用于向所述任务调度集群提交任务；

所述任务调度集群中的所述任务调度节点用于接收所述任务，生成所述任务的任务分配信息，按照所述任务分配信息将所述任务发送给所述任务执行集群；

所述任务执行集群中的所述任务执行节点用于执行所述任务并将执行结果返回给提交任务的任务客户端节点。

相应的，所述任务调度节点包括主任务调度节点以及从任务调度节点，所述任务执行节点包括主任务执行节点以及从任务执行节点；

所述主任务调度节点用于从所述任务客户端节点接收所述任务，并将所述任务分配给任意一个从任务调度节点；

所述从任务调度节点用于在接收到所述任务后生成所述任务的任务分配信息，按照所述任务分配信息将所述任务发送给所述任务执行集群；

所述主任务执行节点用于接收所述任务，并将所述任务分配给从一个或多个任务执行节点；

所述从任务执行节点用于在接收到所述任务后执行所述任务并将执行结果返回给提交任务的任务客户端节点。

相应的，所述系统还包括：

分布式系统的可靠协调系统zookeeper节点，所述zookeeper节点分别与所述任务提交集群、所述任务调度集群以及任务执行集群相连；

所述zookeeper节点用于保持与各个所述任务客户端节点、各个所述任务调度节点以及各个所述任务执行节点的连接，保存各个所述任务客户端节点、各个所述任务调度节点以及各个所述任务执行节点的连接信息；根据各个所述任务调度节点的连接信息在所述任务调度节点中确定所述主任务调度节点以及所述从任务调度节点；根据各个所述任务执行节点的连接信息在所述任务执行节点中确定所述主任务执行节点以及所述从任务执行节点。

相应的，所述系统还包括：

公共服务模块，所述任务提交集群通过所述公共服务模块与所述任务调度集群相连，所述任务调度集群通过所述公共服务模块与所述任务执行集群相连，所述任务执行集群通过所述公共服务模块与所述任务提交集群相连。

相应的，所述公共服务模块包括：

消息中间件、分布式数据库以及分布式缓存；

所述分布式数据库用于保存所述任务的任务分配信息、所述任务的执行日志以及所述执行结果；

所述消息中间件用于接收所述任务客户端节点向所述任务调度集群提交的任务，将所述任务发送到所述任务调度集群；接收所述任务调度节点向所述任务执行集群发送的所述任务，将所述任务发送到所述任务调度集群；接收所述任务执行节点向所述提交任务的任务客户端节点发送的执行结果，将所述执行结果发送到所述提交任务的任务客户端节点；

所述分布式缓存用于当所述执行结果需要缓存时缓存所述执行结果。