[发明专利]批处理集群系统以及方法有效
申请号: | 201410721547.0 | 申请日: | 2014-12-03 |
公开(公告)号: | CN105589756B | 公开(公告)日: | 2019-02-15 |
发明(设计)人: | 王宇;尹亚伟 | 申请(专利权)人: | 中国银联股份有限公司 |
主分类号: | G06F11/00 | 分类号: | G06F11/00;G06F9/46 |
代理公司: | 中国专利代理(香港)有限公司 72001 | 代理人: | 俞华梁;汤春龙 |
地址: | 200135 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请公开了一种批处理集群系统,所述系统包括:多个任务主节点,用于通过领域特定语言定义批处理任务的具体配置、分解和运行流程;多个执行子节点,用于根据所述具体配置、分解和运行流程来执行所述批处理任务中的分解步骤;以及分布式协调器,用于管理所述多个任务主节点,其中在任一时刻,在所述多个任务主节点中只有一个任务主节点被所述分布式协调器选择处于工作状态,而所述多个任务主节点中的其它节点则处于备用状态。本申请还公开了一种该批处理集群系统执行的方法。 | ||
搜索关键词: | 批处理 集群 系统 以及 方法 | ||
【主权项】:
1.一种批处理集群系统,其特征在于,所述系统包括:多个任务主节点,用于通过领域特定语言定义批处理任务的具体配置、分解和运行流程;多个执行子节点,用于根据所述具体配置、分解和运行流程来执行所述批处理任务中的分解步骤;以及分布式协调器,用于管理所述多个任务主节点,其中在任一时刻,在所述多个任务主节点中只有一个任务主节点被所述分布式协调器选择处于工作状态,而所述多个任务主节点中的其它节点则处于备用状态,其中所述任务主节点包括:健康检查协调器,用于侦测处于工作状态的任务主节点的健康状况;故障恢复控制器,用于在所述处于工作状态的任务主节点无法正常工作时,根据存储的运行时元数据进行批处理运行上下文的恢复;任务分解处理器,用于根据预先配置的任务和数据分解策略对任务或数据进行拆分,并将拆分后的数据通过虚拟文件系统接口存放到文件中;以及任务执行协调器,用于负责分发任务主节点分解的任务。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国银联股份有限公司,未经中国银联股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410721547.0/,转载请声明来源钻瓜专利网。