[发明专利]任务流程的执行方法和装置

说明书

技术领域

本发明涉及云计算的技术领域，尤其是涉及一种任务流程的执行方法和装置。

背景技术

进入二十世纪以来，随着互联网的普及和移动互联的发展，网络中的数据体量成几何式增长。为了对如此庞大的数据集进行分析及存储，大数据技术应运而生。而由Apache基金会主导的项目Mesos分布式资源管理框架，又被称为分布式系统的内核，就是为管理计算资源的使用而生的。

在Mesos的集群场景下，支持多个分布式框架同时运行。当在Mesos环境上面运行多个任务的时候，任务之前不单单有简单的依赖关系(例如，成功继续执行，失败不继续执行)，同时任务的执行过程中需要很多的先决条件(例如，文件是否存在，数据库字段是否正确)，且任务的某个参数可能需要临时变更，因此，需要一个可以对任务集进行编排及调度的工具。

目前，这种工具为属的编排及调度工具，如Oozie和Nifi等，此类工具专为大数据任务所订制，内部包含了很多大数据任务相关的参数，方便对大数据任务的编排及调度，但是该类工具的通用性不强，在非大数据任务上面的功能不全面，并且对分布式系统内核的要求比较高，兼容性不强。

发明内容

有鉴于此，本发明的目的在于提供一种任务流程的执行方法和装置，以缓解了现有的任务编排和调度工具通用性较差的技术问题。

第一方面，本发明实施例提供了一种任务流程的执行方法，包括：获取用户发送的第一配置文件和第一任务请求类型，其中，所述第一配置文件为Xml格式的配置文件，且所述第一配置文件中包括用户请求操作的目标任务的任务信息；对所述第一配置文件和所述第一任务请求类型进行格式转换处理，处理得到第二配置文件和第二任务请求类型，其中，所述第二配置文件为Json格式的文件，且所述第二配置文件和所述第二任务请求类型均能够被作业调度器Chronos识别；向所述作业调度器Chronos提交所述第二配置文件和所述第二任务请求类型，以使所述作业调度器Chronos在Mesos集群场景中运行所述目标任务。

进一步地，对所述第一配置文件进行格式转换处理，处理得到第二配置文件包括：在所述第一配置文件中查找先决任务的配置信息，并基于查找到的所述先决任务的配置信息生成所述先决任务的第一Json文件；在所述第一配置文件中查找分支任务的配置信息，并基于查找到的所述分支任务的配置信息生成所述分支任务的第二Json文件；基于所述第一配置文件中的剩余配置信息生成第三Json文件，其中，所述剩余配置信息为所述第一配置文件中除所述查找先决任务的配置信息和所述分支任务的配置信息之外的配置信息；对所述第一Json文件，所述第二Json文件和所述第三Json文件进行合成，得到所述第二配置文件。

进一步地，在所述第一配置文件中查找先决任务的配置信息，并基于查找到的所述先决任务的配置信息生成所述先决任务的第一Json文件包括：在所述第一配置文件中查找第一字段；如果在所述第一配置文件中查找到所述第一字段，则生成所述先决任务，其中，所述先决任务的任务内容与所述第一字段的内容相关联；在生成所述先决任务之后，生成所述先决任务的第一Json文件。

进一步地，在所述第一配置文件中查找分支任务的配置信息，并基于查找到的所述分支任务的配置信息生成所述分支任务的第二Json文件包括：在所述第一配置文件中查找第二字段；如果在所述第一配置文件中查找到所述第二字段，则生成分支判断任务，其中，所述分支判断任务用于在对应的分支任务执行之前，判断所述对应的分支任务是否执行，所述分支判断任务与所述分支任务一一对应；在生成所述分支判断任务之后，生成所述第二Json文件。

进一步地，如果所述第一任务请求类型为创建请求，则在获取用户发送的第一配置文件和第一任务请求类型之后，所述方法还包括：在数据库中为任务参数分配目标字段，以在所述目标字段创建字段变量，所述字段变量用于指示所述任务参数；其中，当执行所述目标任务时，则从所述数据库中读取所述字段变量，以获取所述任务参数；当更新所述字段变量时，则向所述数据库发送更新指令，以使所述数据库按照更新指令中更新之后的任务参数对所述字段变量进行更新。