[发明专利]一种跨域作业流调度方法及系统

说明书

本发明公开了一种跨域作业流调度方法及系统，所述方法包括：在协同调度网络中选取一个作业流调度集群A接收所述应用提供者发送的数据处理业务需求；根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块；将多个数据业务处理分块按照作业流编排逻辑分配给协同调度网络中的多个作业流调度集群进行处理；所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理，并生成数据；通过联邦数据通道将生成的数据输出至预定的作业流调度集群中并存储在其对应的数据库中；所述方法及系统通过采用非主备模式的协同调度网络做到多引擎并行的跨域数据调度，通过并行处理提高处理速度的同时规避了单点故障带来的风险。

技术领域

本发明涉及通信技术领域，更具体地，涉及一种跨域作业流调度方法及系统。

背景技术

随着通信技术的日益发展，各类业务中需处理的数据量呈爆炸性增长，仅在本地的服务器完成数据处理的作业已经越来越捉襟见肘，故分布式系统应运而生，在各个互联的分布式服务器中处理分片处理后的分片数据，使各个部分的数据可以同时并行处理，这大大的加快了数据处理的能力；然而传统的分布式的数据处理方法仍然存在一些不足：首先，传统的分布式系统对参与联合调度的服务器数量是有上限限制的，这使得随着待处理数据量的增加会出现处理瓶颈；其次，传统的分布式系统存在一个主服务器，所述主服务器为数据的入口并复制数据分片；而若该主服务器发生故障，会使得整个分布式系统瘫痪；再次，多个分布式服务器间，使用的开发语言可能存在差别，这使得在分布式系统的兼容性上存在隐患且后续的维护上也存在局限性。

发明内容

为了解决背景技术存在的处理数据量存在上限、主服务器单点故障使得整个系统存在瘫痪风险以及各服务器间开发语言存在差别使得兼容性上存在隐患且维护成本高等问题，本发明提供了一种跨域作业流调度方法及系统，所述方法及系统采用非主备模式做到多引擎并行的跨域数据调度；所述多个调度集群中的任一个通过对业务的编排输出作业流并分配给协同调度网络(即分布式系统)中的各个调度集群进行并行处理；同时所述方法及系统采用容器技术，对作业的编程语言、实现方式没有限制；所述一种跨域作业流调度方法包括：

在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A接收所述应用提供者发送的数据处理业务需求；

通过所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块；

将所述多个数据业务处理分块按照作业流编排逻辑分配给所述协同调度网络中的多个作业流调度集群进行处理；

所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理，并生成数据；

所述多个作业流调度集群的每一个将其生成的数据根据作业流定义中对该分块的输出位置的定义写入数据联邦通道的输入接口中，并通过数据联邦根据数据输出位置定义由数据联邦通道进行通道链路选择和数据传输；所述数据联邦通道连接各个作业流调度集群；

在数据联邦通道将各个作业流调度集群生成的数据传输到作业流指定的数据输出位置后，所述指定的数据输出位置的作业流调度集群将所述各个作业流调度集群生成的数据整合并存储在其对应的数据库中；

进一步的，所述通过所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块包括：所述作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；

进一步的，在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A的方法包括：选取协同调度网络中的多个作业流调度集群与应用者提供数据源的物理位置最近的作业流调度集群为作业流调度集群A；