[发明专利]一种基于分布式任务调度框架的任务容灾方法

说明书

本发明公开一种基于分布式任务调度框架的任务容灾方法，包括以下步骤：第一步，初始化任务调度中心，并在初始化过程中启动一个守护线程，用于监测执行器的心跳状态；第二步，用户通过任务调度中心注册任务信息；第三步，调度中心根据任务的Cron配置按时提交调度请求；第四步，执行器接收并运行调度中心提交的调度请求；第五步，若守护线程监测到执行器在执行任务的过程中发生故障，则确认该执行器上是否有处于运行态的任务，如果存在，则更新该任务的运行状态；触发任务被重新调度到在线的执行器上运行；第六步，任务执行完成，返回调度结果。本发明解决了现有的分布式任务调度框架无法处理容灾场景的任务自动恢复问题。

技术领域

本发明属于大数据技术领域，具体是一种基于分布式任务调度框架的任务容灾方法。

背景技术

在企业级大数据平台系统中，普遍存在着大量业务相关的需要被周期性调度运行的各种任务。这些任务的特点是按照一定的时间规律周期性的进行自动调度、自动运行、自动结束。例如周期更新采样数据、每天凌晨定点执行建表任务、每月定期生成数据库报表等。对于上述业务场景，目前业界存在一系列的开源分布式任务调度框架，比如LTS、XXL-JOB、Elastic-Job，这些分布式任务调度框架具有良好的伸缩性、扩展性，提供了用户友好的运维管理界面，支持动态的对任务进行CRUD操作等，是企业级大数据平台任务调度的很好选择。

其中，XXL-JOB是一个轻量级、易扩展的分布式任务调度框架，该框架操作简单、使用方便，是目前比较流行的开源分布式任务调度框架。XXL-JOB在任务容灾方面已实现的特性有：可以根据执行器的在线情况动态的调整任务调度，避免把任务调度到发生故障的执行器上面运行；当正在运行调度任务的执行器发生故障时，任务管理界面提供了“终止任务”的操作按钮，通过手工点击“终止任务”按钮可以触发任务被重新调度执行。XXL-JOB虽然在一定程度上提供了任务容灾的方法，但是需要结合运维人员的手工操作才能实现。

目前虽然存在一些不错的分布式任务调度框架，但是，在实际生产环境使用中普遍存在以下问题：当一个分布式任务执行器节点因故掉线或者发生重启之后，调度中心调度到该执行器节点上面并且处于运行态的任务会出现挂死问题，无法自动恢复执行。现有的分布式任务调度框架还无法很好地处理容灾场景下的任务自动恢复问题，而任务运行的可靠性恰恰又是电网、银行、保险等行业领域选型分布式任务调度系统的一个重要考量指标。针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于分布式任务调度框架的任务容灾方法，以解决容灾场景下正在运行任务出现挂死，无法自动恢复的问题。

为实现上述目的，本发明采用的技术方案是：

一种基于分布式任务调度框架的任务容灾方法，包括以下步骤：

S1，部署多个执行器，多个所述执行器分别与调度中心通信连接；

S2，通过调度中心注册任务信息，并基于任务的Cron配置向执行器提交调度请求；

S3，执行器接收并运行调度中心提交的调度请求；

S4，通过调度中心监测多个所述执行器的心跳状态；

S5，监测到执行器在执行任务的过程中发生故障，确认该执行器上是否存在处于运行态的任务，如果存在，则更新该任务的运行状态；触发任务被重新调度到在线的执行器上运行；如果不存在，则刷新该执行器的在线状态；

S6，执行器完成调度请求任务，返回调度结果。