[发明专利]大数据容灾方法、装置和电子设备

说明书

本说明书实施例提出了一种大数据容灾方法、装置和电子设备，其中，上述大数据容灾方法中，基于各任务节点对生产时间的诉求不同，对计算资源的诉求也不同，当生产集群发生故障时，首先获取上述生产集群中需要进行容灾保护的目标任务节点和目标业务集合，然后获取目标任务节点所属的目标任务组，进而根据目标任务组和目标业务集合，确定待切换节点，最后启动待切换节点对应的容灾节点上的任务，在容灾集群中执行上述容灾节点上的任务，从而可以实现对待切换节点进行容灾，相对于机房/集群级的容灾方案，既保障了大数据容灾的诉求，又节省了资源开销。

【技术领域】

本说明书实施例涉及大数据技术领域，尤其涉及一种大数据容灾方法、装置和电子设备。

【背景技术】

随着互联网业务发展，大数据业务的地位越来越重要，随着互联网公司提供的服务越来越基础设施化，其大数据业务在金融、物流和/或日常生活等国计民生中占有着越来越重要位置，服务的稳定性、数据的质量和核心数据应用的产出时效，任何异常都会带来巨大的经济、社会影响。

在这个背景下，为了在故障发生时，保障大数据业务的可用性，需要提供大数据容灾的解决方案。同时，大数据业务的主要特性是“大”，对于计算、存储的资源消耗比较多，对大数据容灾时带来的成本开销往往比较高，

【发明内容】

本说明书实施例提供了一种大数据容灾方法、装置和电子设备，以实现提供一种用较少的成本开销保障业务可用性的大数据容灾的解决方案。

第一方面，本说明书实施例提供一种大数据容灾方法，包括：当生产集群发生故障时，获取所述生产集群中需要进行容灾保护的目标任务节点和目标业务集合；获取所述目标任务节点所属的目标任务组；根据所述目标任务组和所述目标业务集合，确定待切换节点；启动所述待切换节点对应的容灾节点上的任务，在容灾集群中执行所述容灾节点上的任务。

上述大数据容灾方法中，基于各任务节点对生产时间的诉求不同，对计算资源的诉求也不同，当生产集群发生故障时，首先获取上述生产集群中需要进行容灾保护的目标任务节点和目标业务集合，然后获取目标任务节点所属的目标任务组，进而根据目标任务组和目标业务集合，确定待切换节点，最后启动待切换节点对应的容灾节点上的任务，在容灾集群中执行上述容灾节点上的任务，从而可以实现对待切换节点进行容灾，相对于机房/集群级的容灾方案，既保障了大数据容灾的诉求，又节省了资源开销。

其中一种可能的实现方式中，所述获取所述目标任务节点所属的目标任务组包括：查询所述目标任务节点的依赖关系，获取所述目标任务节点的依赖节点，并逐级获取所述依赖节点的依赖关系；根据所述目标任务节点的依赖关系和所述依赖节点的依赖关系，构建有向无环图；根据所述有向无环图，获取所述目标任务节点所属的目标任务组。

其中一种可能的实现方式中，所述启动所述待切换节点对应的容灾节点上的任务之后，还包括：在所述生产集群的故障恢复之后，停止执行所述容灾节点上的任务，将所述容灾节点在所述容灾集群中生产的数据同步到所述生产集群，继续在所述生产集群执行所述待切换节点上的任务。

其中一种可能的实现方式中，所述获取所述生产集群中需要进行容灾保护的目标任务节点和目标业务集合之前，还包括：获取需要进行容灾保护的任务节点；查询所述任务节点的依赖关系，获取所述任务节点的依赖节点；以及逐级查询所述依赖节点的依赖关系，获取所述依赖节点的依赖节点；创建容灾任务组，所述容灾任务组中包括所述任务节点对应的容灾节点和所述依赖节点对应的容灾节点，所述容灾任务组中容灾节点之间的依赖关系与所述任务节点和所述依赖节点之间的依赖关系相同，并且所述容灾节点上承载与所述任务节点相同的任务；根据所述容灾任务组中容灾节点之间的依赖关系，构建所述容灾任务组对应的有向无环图。