[发明专利]一种并行计算环境下的高可用任务处理控制模型

权利要求书

1.一种并行计算环境下的高可用任务处理控制模型，其特征在于，

主要由以下五个部分组成：

1）、处理任务管理

2）、处理控制集群

3）、处理线程

4）、健康检查

5）、分布式共享存储；

其中，

使用处理任务管理负责并行处理任务配置的创建、查询、修改及删除，处理任务描述了并行处理任务执行所需的基础信息；

使用处理控制集群对任务的高可用执行进行控制，处理控制集群根据处理处理任务配置及健康检查信息，负责任务处理线程的分发、调度、休眠、唤醒及重建操作；

处理线程负责任务的实际执行并将任务处理结果和线程心跳信息存入分布式共享存储；

健康检查负责对处理线程的健康状态进行收集和监控，通过心跳数据对处理线程的执行情况进行评估，及时发现出现异常的处理线程并进行警告；

分布式共享存储负责存储处理任务配置、处理线程心跳信息、任务处理结果等数据的存储，为其他组件提供数据存储和读取支持。

2.根据权利要求1所述的高可用任务处理控制模型，其特征在于，

处理任务描述了并行处理任务执行所需的基础信息，主要包括：并行处理任务的执行计划、并行度、计算资源范围、调度策略、处理脚本、是否开启高可用信息；

执行计划描述了处理任务的执行时间，执行周期及间隔，执行计划采用Cron表达式进行描述；并行度描述了该处理任务可以使用的并行处理线程的数量；计算资源范围描述了并行任务可使用的计算节点的数量和范围；调度策略描述了处理任务的资源调度方案，调度策略包括：均衡调度策略、最优资源调度策略、集中调度策略等；处理脚本中注册了处理任务执行的脚本或程序包，支持多种类型的脚本或程序包：python脚本、shell脚本、Pig脚本、MapReduce程序包、Java程序包；是否开启高可用描述了该处理任务是否为有高可用要求的任务；

用户通过处理任务管理模块进行处理任务的创建、查询、修改及删除,创建的处理任务存储在分布式共享存储中。

3.根据权利要求1所述的高可用任务处理控制模型，其特征在于，

处理控制集群根据处理任务配置及健康检查信息，负责任务处理线程的启动、分发、调度、迁移、休眠、唤醒及重建操作；

处理控制集群读取共享存储中的处理任务信息，根据处理任务中的执行计划周期性的进行处理任务的启动；根据处理任务中的并行度、计算资源范围和调度策略结合共享存储中记录的计算节点状态信息，选择计算节点，将处理任务分发到节点上，并根据处理脚本启动处理线程；

高可用处理任务执行过程中，处理控制集群会读取共享存储中的处理线程健康状态，当发现有处理线程处于异常状态时，会对该线程进行重建操作；同时，处理控制集群会读取共享存储中的计算节点健康状态，当发现某计算节点出现异常，会对该计算节点上运行的处理线程进行迁移、休眠操作，并在节点异常状态恢复之前不再向该计算节点分发处理任务，当节点状态恢复之后进行处理线程的唤醒操作，并恢复向该节点分发处理任务，实现处理任务的高可用。

4.根据权利要求1所述的高可用任务处理控制模型，其特征在于，

处理线程是处理任务脚本在计算节点上的运行时线程；处理线程所用的脚本注册在处理任务的执行脚本中，处理线程的启动、休眠、唤醒、迁移由处理控制集群控制；

处理线程的执行受健康检查的监管，健康检查收集处理线程的执行情况，监控执行线程的心跳信息并基于这些信息进行预警。

5.根据权利要求1所述的高可用任务处理控制模型，其特征在于，

健康检查负责对计算节点及处理线程的健康状态进行收集、监控和预警；

健康检查收集计算节点主机的cpu、内存、IO负载信息，通过预设的健康指标阈值对计算节点进行健康评估，当计算节点主机出现异常时，健康检查产生预警信息，并发送到分布式共享存储中进行存储；

健康检查收集处理线程的心跳信息和处理过程信息，使用这些信息对处理线程的执行情况进行评估，并将处理线程的状态发送到分布式共享存储；当发现处理线程出现异常时，健康检查发出处理线程异常警告，并更新共享存储中的处理线程状态为异常，处理控制集群根据线程状态对线程进行控制。

6.根据权利要求1所述的高可用任务处理控制模型，其特征在于，

分布式共享存储主要是为各组件提供共享的数据存储，包括：块存储、文件存储、对象存储；

分布式共享存储负责存储任务管理所需的任务信息、执行计划，健康检查产生的节点健康状态、处理线程健康状态信息也存储在分布式共享存储中；

任务处理线程从共享存储中获取处理输入数据,并将处理结果输出到共享存储中。