[发明专利]一种跨域作业流调度方法及系统有效
申请号: | 201810457438.0 | 申请日: | 2018-05-14 |
公开(公告)号: | CN108694082B | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 肖华飚;朱翔淼 | 申请(专利权)人: | 有时数联科技(北京)有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06F16/27 |
代理公司: | 北京工信联合知识产权代理有限公司 11266 | 代理人: | 胡秋立 |
地址: | 100083 北京市海淀区双清*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种跨域作业流调度方法及系统,所述方法包括:在协同调度网络中选取一个作业流调度集群A接收所述应用提供者发送的数据处理业务需求;根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块;将多个数据业务处理分块按照作业流编排逻辑分配给协同调度网络中的多个作业流调度集群进行处理;所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理,并生成数据;通过联邦数据通道将生成的数据输出至预定的作业流调度集群中并存储在其对应的数据库中;所述方法及系统通过采用非主备模式的协同调度网络做到多引擎并行的跨域数据调度,通过并行处理提高处理速度的同时规避了单点故障带来的风险。 | ||
搜索关键词: | 一种 作业 调度 方法 系统 | ||
【主权项】:
1.一种跨域作业流调度方法,所述方法包括:在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A接收所述应用提供者发送的数据处理业务需求;所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块;将所述多个数据业务处理分块按照作业流编排逻辑分配给所述协同调度网络中的多个作业流调度集群进行处理;所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理,并生成数据;所述多个作业流调度集群的每一个将其生成的数据根据作业流编排逻辑中对该分块的输出位置的定义写入数据联邦通道的输入接口中,并通过数据联邦根据数据输出位置定义由数据联邦通道进行通道链路选择和数据传输;所述数据联邦通道连接各个作业流调度集群;在数据联邦通道将各个作业流调度集群生成的数据传输到作业流指定的数据输出位置后,所述指定的数据输出位置的作业流调度集群将所述各个作业流调度集群生成的数据整合并存储在其对应的数据库中。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于有时数联科技(北京)有限公司,未经有时数联科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810457438.0/,转载请声明来源钻瓜专利网。