[发明专利]一种跨域作业流调度方法及系统

权利要求书

1.一种跨域作业流调度方法，所述方法包括：

在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A接收应用提供者发送的数据处理业务需求；

所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块；

通过所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块包括：所述作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；

将所述多个数据业务处理分块按照作业流编排逻辑分配给所述协同调度网络中的多个作业流调度集群进行处理；

所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理，并生成数据；

所述多个作业流调度集群的每一个将其生成的数据根据作业流编排逻辑中对该分块的输出位置的定义写入数据联邦通道的输入接口中，并通过数据联邦根据数据输出位置定义由数据联邦通道进行通道链路选择和数据传输；所述数据联邦通道连接各个作业流调度集群；

在数据联邦通道将各个作业流调度集群生成的数据传输到作业流指定的数据输出位置后，所述指定的数据输出位置的作业流调度集群将所述各个作业流调度集群生成的数据整合并存储在其对应的数据库中。

2.根据权利要求1所述的方法，其特征在于：在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A的方法包括：选取协同调度网络中的多个作业流调度集群与应用者提供数据源的物理位置最近的作业流调度集群为作业流调度集群A；所述作业流调度集群调用与分配的数据业务处理分块相对应的作业模板完成对应的作业进程，并生成数据。

3.根据权利要求1所述的方法，其特征在于：对所述作业流调度集群A的运行情况进行实时监控；对所述作业流调度集群A的操作日志以及历史作业统计进行查询；所述运行情况包括作业流编排结果、各作业分块完成情况以及最终用户访问情况；

最终用户通过API网关访问所述指定的数据输出位置的作业流调度集群的本地数据库，调取所述数据处理业务需求完成后的对应的结果数据进行数据消费。

4.根据权利要求1所述的方法，其特征在于：所述作业流调度集群A可同时接收多个数据处理业务需求，通过使用容器技术同时对多个数据处理业务需求；所述多个数据处理业务需求的每一个在一个容器中进行处理，各容器相互隔离；

所述多个作业流调度集群采用RAFT协议，实现多集群并行调度；所述多个作业流调度集群的每一个均可向包括该作业流调度集群在内的所有作业流调度集群分配数据业务处理分块。