[发明专利]基于Flink的工作流引擎实现方法、系统、设备及存储介质

说明书

本发明公开了一种基于Flink的工作流引擎实现方法、系统、设备及存储介质，上述方法包括：工作流创建步骤：创建以第一个节点为tr i gger应用，其余节点为act i on应用的工作流，并配置tr i gger应用的触发条件与act i on应用需执行的操作；工作流配置读取步骤：将kafka作为数据管道，通过f l i nk job实现tr i gger应用与act i on应用的业务逻辑。本发明是分布式的，支持高可用；支持自动容错，快速恢复；且各个模块之间是解耦的，非常灵活。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Flink的工作流引擎实现方法、系统、设备及存储介质。

背景技术

工作流就是将一条信息根据角色、分工、条件不同进行固定的向上传递，数据是按照固定的流向进行传输，一级一级传递下去。通常这种操作自己本身也可以通过逻辑来实现，但是复杂度很高。而且不方便维护。所以通常都采用第三方引擎框架来实现，出了引擎本身简化了操作以外。更重要的是维护起来很方便。

目前常见技术为通过java实现的Activity工作流引擎，Activity实现方法包括：绘制BPMN图；配置节点信息；将设计的流程部署到数据库中；启动流程实例，执行任务；结束。但Activity工作流引擎存在以下缺点：任务失败后，不能自动容灾，同时也无法快速恢复；另外操作起来也十分繁琐。

发明内容

本发明针对上述的Activity工作流引擎存在不能自动容灾以及操作繁琐的技术问题，提出一种基于Flink的工作流引擎实现方法、系统、设备及存储介质。

第一方面，本申请实施例提供了一种基于Flink的工作流引擎实现方法，包括：

工作流创建步骤：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；

工作流配置读取步骤：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。

上述基于Flink的工作流引擎实现方法，其中，每一个所述flink job均绑定一个特定的topic，通过所述topic消费上游节点传入的数据。

上述基于Flink的工作流引擎实现方法，其中，所述工作流配置读取步骤包括：

trigger job实现步骤：当消息到达trigger应用时，读取state中的配置并完成相应的业务逻辑，并将业务逻辑的结果数据produce到下一个节点的所述topic中；

action job实现步骤：当上游节点的输出到达action应用时，将当前节点的输出和上游节点的输出合并成一条消息，produce到下游节点，若不存在下游节点，则整个工作流结束。

上述基于Flink的工作流引擎实现方法，其中，所述trigger job实现步骤中，通过所述flink job绑定data数据源和timer数据源，获取当前应用的最新配置，并将配置存储在所述state中，作为每个消息到来时处理业务逻辑的依据。

上述基于Flink的工作流引擎实现方法，其中，所述action job实现步骤还包括：根据所述Action应用的不同，定义时间窗口以实现业务逻辑。

第二方面，本申请实施例提供了一种基于Flink的工作流引擎实现系统系统，包括：

工作流创建单元：创建以第一个节点为trigger应用，其余节点为action应用的工作流，并配置所述trigger应用的触发条件与所述action应用需执行的操作；

工作流配置读取单元：将kafka作为数据管道，通过flink job实现所述trigger应用与所述action应用的业务逻辑。