[发明专利]数据中台的任务流控制方法及相关装置

说明书

本申请提供一种数据中台的任务流控制方法及相关装置，用于解决相关技术中当某个任务节点出现异常时，则会影响下游节点的正常执行的问题，在本申请实施例中，每个任务节点基于上游节点生成的上下文信息执行任务，该上下文信息用于描述上游节点的执行状况，例如，可以包括执行状态、执行结果等信息。由此，下游节点可基于该上下文信息来分析是否执行告警操作，还是继续执行任务。基于上下文信息，告警操作的执行在任务流执行过程中，在每个节点内部完成，由此能够及时的发现问题进行告警，及时通知运维人员进行排查，保证任务流的正常执行。

技术领域

本申请涉及计算机应用技术领域，尤其涉及一种数据中台的任务流控制方法及相关装置。

背景技术

数据中台能够兼容多源异构数据，统一治理和管理业务流，数据中台的业务流可支撑多种业务。数据中台既能降低重复建设的成本，也能保持企业的差异化竞争优势。提供稳定高效的数据中台能够有效提高业务处理效率。

在数据中台建设过程中，通过大数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而提供高效的数据服务。为实现多种多样的业务需求，数据中台上运行着一系列的任务流，每个任务流包含多种不同类型的任务，例如SQL(Structured Query Language，结构化查询语言)类、脚本类和ETL(Extract-Transform-Load，数据仓库技术)类等。

任务之间存在上下游依赖关系，上游任务执行成功后触发下游任务执行。任务之间的依赖关系可能是复杂的，也可能是简单的，任务流中不同任务的执行依赖于不同节点。当某个任务节点出现异常时，则会影响下游节点的正常执行。因此需要高效及时的预警机制，当任务出现异常时，及时通知运维人员进行排查，保证任务流的正常执行。

发明内容

本申请实施例提供一种数据中台的任务流控制方法及相关装置，用于解决相关技术中当某个任务节点出现异常时，则会影响下游节点的正常执行的问题。

第一方面，本申请提供一种数据中台的任务流控制方法，所述方法包括：

第一任务节点基于第二任务节点的上下文信息确定操作类型，所述操作类型包括继续执行业务流或执行告警操作；所述第一任务节点为所述第二任务节点的下游节点，所述上下文信息用于描述所述第二任务节点的任务执行状况；

第一任务节点基于第二任务节点的上下文信息确定操作类型，所述操作类型包括继续执行业务流或执行告警操作；所述第一任务节点为所述第二任务节点的下游节点，所述上下文信息用于描述所述第二任务节点的任务执行状况。

可选的，所述上下文信息是所述第二任务节点在执行任务结束时，基于任务执行结果生成并保存的；

其中，若所述第二任务节点为父节点，则所述第二任务节点基于预先配置的触发规则，触发执行任务；

若所述第二任务节点为子节点，则所述第二任务节点基于第三任务节点的上下文信息触发执行任务。

可选的，所述第一任务节点基于所述操作类型，执行任务，包括：

所述第一任务节点依照所述第一任务节点的类型，基于所述第二任务节点的上下文信息执行与所述第一任务节点的类型对应的任务。

可选的，所述依照所述第一任务节点的类型，基于所述第二任务节点的上下文信息执行与所述第一任务节点的类型对应的任务，包括：

若所述第一任务节点的类型为分支节点，则基于所述第二任务节点的上下文信息判断是否满足所述第一任务节点的多个下游节点中任一下游节点的执行条件，若满足，则触发满足执行条件的下游节点执行任务；

若不满足所有下游节点的执行条件，则基于预设的触发告警规则，执行告警操作。