[发明专利]YARN作业的迁移系统及方法

说明书

本申请提供一种YARN作业的迁移系统及方法，所述系统包括：分别设置于多个业务关联机房中的调度子系统；各调度子系统均包括上层调度平台、分布式应用程序协调服务器、路由组件和YARN子集群；上层调度平台用于基于输入的作业迁移关联信息确定待迁移的第一目标作业、第一目标作业对应的YARN队列信息及域名，并基于第一目标作业对应的域名将对应的YARN队列信息发送给目标机房的路由组件；路由组件用于基于其它调度子系统的第二目标作业对应的YARN队列信息及分布式应用程序协调服务器记录的路由策略信息确定第二目标作业对应的目标YARN子集群，并将第二目标作业提交到目标YARN子集群，能够降低成本，提高作业迁移效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种YARN作业的迁移系统及方法。

背景技术

YARN作为当前主流的分布式计算组件被广泛使用，在面对机房迁移时，YARN上作业的迁移次序和迁移过程的管理成为目前业界最大的痛点。现有的实现YARN作业迁移的方法只要一种，即在不同地域搭建独立的YARN集群，通过上层平台调度多个YARN集群以实现作业迁移。

但该方式需要对业务提供多套参数配置，增加了上层平台对接YARN集群的复杂度。同时，依赖YARN集群的Hive / Spark调度均需要对接多套YARN集群，对于多套不同集群的后期配置管理也极为繁琐，增加了运维和管理成本，也增加了对应的机器成本。并且，采用上述方式在迁移过程中出现问题时，不容易进行回滚操作，进一步降低了作业迁移的效率。

发明内容

针对现有技术存在的上述技术问题，本申请提供一种YARN作业的迁移系统及方法。

第一方面，本申请提供一种YARN作业的迁移系统，所述系统包括：

分别设置于多个业务关联机房中的调度子系统；其中，各业务关联机房位于不同地域，各调度子系统与各业务关联机房一一对应；

各调度子系统均包括对应的上层调度平台、分布式应用程序协调服务器、路由组件和YARN子集群；

对于任一调度子系统，所述上层调度平台用于基于用户输入的作业迁移关联信息确定待迁移的第一目标作业、所述第一目标作业对应的YARN队列信息以及所述第一目标作业迁移对应的域名，并基于所述第一目标作业迁移对应的域名将所述第一目标作业及所述第一目标作业对应的YARN队列信息发送给目标机房对应的调度子系统的路由组件；

所述分布式应用程序协调服务器用于记录路由策略信息；

所述路由组件用于基于接收到的来自其它调度子系统的第二目标作业对应的YARN队列信息及，所述路由策略信息确定所述第二目标作业对应的目标YARN子集群，并将所述第二目标作业提交到所述目标YARN子集群。

可选地，根据本申请的YARN作业的迁移系统，所述目标YARN子集群包括至少一个主节点和多个从节点，所述主节点用于基于所述路由策略信息确定所述第二目标作业运行的目标从节点。

可选地，根据本申请的YARN作业的迁移系统，各调度子系统还包括负载均衡组件，相应的，所述基于所述第一目标作业迁移对应的域名将所述第一目标作业及所述第一目标作业对应的YARN队列信息发送给目标机房对应的调度子系统的路由组件，具体包括：

基于所述第一目标作业迁移对应的域名将所述第一目标作业及所述第一目标作业对应的YARN队列信息发送给目标机房对应的调度子系统的负载均衡组件；

目标机房对应的调度子系统的负载均衡组件基于目标机房对应的调度子系统中各路由组件的负载情况确定目标路由组件并将所述第一目标作业及所述第一目标作业对应的YARN队列提交到所述目标路由组件。

可选地，根据本申请的YARN作业的迁移系统，所述上层调度平台还用于基于目标机房对应的调度子系统反馈的所述第一目标作业的运行信息，确定作业迁移是否异常，并在作业迁移异常的情况下进行作业回滚。