[发明专利]基于混合编排的数据处理方法、装置、系统和存储介质

权利要求书

1.一种基于混合编排的数据处理方法，所述方法包括：

获取数据配置信息和数据处理逻辑；

基于所述数据配置信息和数据处理逻辑，采用节点和边的数据结构，混合编排流程信息；其中，所述节点包括数据节点和计算节点，所述边用于描述该边连接的两个节点之间的依赖关系；

解析所述流程信息，以执行所述流程信息中的至少一个计算节点，完成数据处理。

2.根据权利要求1所述的方法，其中，所述流程信息包括至少一个数据节点、至少一个计算节点和至少一条边；所述数据节点包括多个数据配置项；

所述基于所述数据配置信息和数据处理逻辑，采用节点和边的数据结构，混合编排流程信息包括：

基于所述数据配置信息配置所述数据节点的数据配置项；

基于所述数据处理逻辑配置所述计算节点的数据处理逻辑。

3.根据权利要求2所述的方法，其中，所述数据配置项包括以下一种或多种：存储配置项、数据表字段配置项、服务地址配置项。

4.根据权利要求2所述的方法，其中，所述计算节点的数据处理逻辑包括：流式任务、批量任务、定时任务或服务。

5.根据权利要求4所述的方法，其中，所述流程信息包括以下至少两种计算节点：

所述流式任务的计算节点、所述批量任务的计算节点、所述定时任务的计算节点和所述服务的计算节点。

6.根据权利要求2所述的方法，其中，在配置所述计算节点的数据处理逻辑后，所述方法还包括：

声明所述计算节点的执行引擎；

配置所述计算节点的执行前处理方法；

配置所述计算节点的执行后处理方法。

7.根据权利要求6所述的方法，其中，所述配置所述计算节点的执行前处理方法包括：

配置所述计算节点的输入钩子函数，所述输入钩子函数中设置所述计算节点的执行触发条件。

8.一种基于混合编排的数据处理装置，所述装置包括：

获取单元，用于获取数据配置信息和数据处理逻辑；

编排单元，用于基于所述数据配置信息和数据处理逻辑，采用节点和边的数据结构，混合编排流程信息；其中，所述节点包括数据节点和计算节点，所述边用于描述该边连接的两个节点之间的依赖关系；

解析单元，用于解析所述流程信息，以执行所述流程信息中的至少一个计算节点，完成数据处理。

9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至7任一项所述基于混合编排的数据处理方法的步骤。

10.一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储程序或指令，当所述程序或指令被至少一个计算装置运行时，使至少一个计算装置执行如权利要求1至7任一项所述基于混合编排的数据处理方法的步骤。