[发明专利]一种基于函数式定义流程的实现方法

说明书

本发明提供的一种基于函数式定义流程的实现方法，定义灵活的流程级参数，将参数分为入参、出参、入出和内部四种类型，通过参数交换区，实现流程间、任务算子间及流程和算子间的信息传递，并且在传递过程中，将流程参数随时更改成新的值，满足新的任务算子计算需求。多种参数交换区的选择，可选择内存、数据库表或其他存储，满足不同的部署场景。定义了用户级参数作为计算常量，在所有流程和任务节点的计算中只允许引用，不允许更改。任务算子的参数，引用固定值，引用用户级的参数或流程级的参数。任务执行完毕更改流程级的参数。解决了流程间、任务算子间以及流程和算子间信息和数据传递的问题。

技术领域

本发明涉及分布式任务调度系统领域，尤其涉及一种基于函数式定义流程的实现方法。

背景技术

分布式调度系统，如开源系统Azkaban、Oozie，是集流程编排、任务调度、任务执行、任务监控等功能的任务调度系统，具有以下功能特点：

可视化的流程编排页面：基于DSL设计模式，通过拖拽的方式将任务进行串行或并行流程编排，构成一个任务流程的有向无环图。

分布式部署运行：系统一般由Master、Worker、ApiServer等组件构成，可以单机部署运行、也可以集群部署运行；可动态扩展各个服务组件。ApiServer负责与前端交互和提供Api服务，Master负责任务调度，Worker负责具体任务执行。

多种流程执行方式：可单步执行、可整体执行、可调度执行；可以停止、暂停、恢复流程的执行；对失败流程可以进行恢复、重试、跳过等操作。可监控任务和流程的运行状态。

任务算子：多种任务算子满足不同的业务场景。监控页面：如仪表盘、甘特图、属性图等，满足不同的监控需求。

分布式任务调度系统可以把一个复杂的业务流程拆解为若干个独立的子任务，由Master进行调度将任务分发给各个Worker上执行。系统简化了使用者的很多工作，提升了工作效率。但是目前的分布式任务调度系统仍然存在一个重要问题：流程内部或流程之间信息和数据无法动态修改和传递。流程运行过程中任务和任务相对独立，参数也仅能在算子内部进行流转，算子之间缺少交互，执行完的算子无法将已计算的结果传递给流程或其他任务算子，无法满足一些后执行任务依赖先前任务执行结果的场景；同时，流程之间也无法实现参数传递，无法重用已有的业务流程来构建复杂的业务场景。

发明内容

鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于函数式定义流程的实现方法。

根据本发明的一个方面，提供了一种基于函数式定义流程的实现方法，所述实现方法包括：

定义用户级参数，并对所述用户级参数初始化处理，获得初始化用户级参数；

定义流程和流程级参数，并对所述流程级参数初始化处理，获得初始化流程级参数；

在流程中定义任务算子和任务级参数，并设置初始化任务级参数；

将所述流程级参数经过参数交换区，实现流程间、任务算子间及流程和算子间的信息传递；

在传递过程中，将所述流程参数更改成新的值，获得更新流程参数；

在传递过程中，将所述用户级参数更改成新的值，获得更新用户级参数；

将所述更新流程参数和所述更新用户级参数保存到参数交换区，供任务算子使用；

任务算子开始执行，判断任务级参数是否存在引用所述用户级参数和所述流程级参数，如果是，任务算子去参数交换区获取新的参数值，否则，使用初始化值；

任务算子执行结束，判断任务级参数是否引用了所述流程级参数，如果是，替换流程级参数的值，否则，将新的流程级参数值更新到参数交换区，用于供后续的任务孙子继续使用。