[发明专利]一种Flink框架运行ETL的流程分解方法和装置

权利要求书

1.一种Flink框架运行ETL的流程分解方法，其特征在于，流程分解方法包括：

遍历ETL的有向无环图DAG，识别出一个或者多个Splitting属性的节点；其中，所述Splitting属性节点包括数据源节点、FLINK_MESSAGE_SHARED_NODE属性的节点与需要转化为Flink算子的节点中的一个或者多个；

按照ETL流程DAG有向无环图节点先后顺序，从数据源节点开始，以相邻的两个所述Splitting属性的节点作为依据，生成由相邻的两个所述Splitting属性的节点之间的一个或者多个ETL节点以及节点之间的连接线构成的ETL流程子集，在Flink算子中使用；构造所述两个相邻Splitting属性的节点之间所对应的flink API语句操作算子链；

当所述相邻Splitting属性的节点中的后一个Splitting属性的节点为FLINK_MESSAGE_SHARED_NODE属性的节点时，所述后一个Splitting属性的节点不转化为对应的Flink算子；

当所述相邻Splitting属性的节点中的后一个Splitting属性的节点不为FLINK_MESSAGE_SHARED_NODE属性的节点时，所述后一个Splitting属性的节点需要转化为对应的flink算子，所述flink算子输入为两个相邻Splitting属性的节点之间ETL流程子集的Flink算子的输出；

其中，在生成所述子集过程中，为每一个所述ETL流程子集分别构建TYPE_FLINK_PROCESS_SOURCE节点用于接收上一个Flink算子输出的数据集或者数据流，以及TYPE_FLINK_PROCESS_SINK节点用于将ETL流程子集转换处理后的数据发送给下一个flink算子；从而将ETL的处理过程承载到Flink框架中完成。

2.根据权利要求1所述的Flink框架运行ETL的流程分解方法，其特征在于，所述的需要转化为Flink算子的节点具体包括FLINK_REDUCE_NODE属性的节点与FLINK_CONNECTOR_NODE属性的节点；

搜索出ETL流程中所有的需要转化为Flink算子的节点，所述节点的上游一直到数据源节点的路由线设置为FLINK_MESSAGE_SHARED_ROUTER属性。

3.根据权利要求2所述的Flink框架运行ETL的流程分解方法，其特征在于，数据源节点开始，如果节点存在至少两个分支路由线，并且有至少两个分支路由线被设置为FLINK_MESSAGE_SHARED_ROUTER属性，则所述节点为FLINK_MESSAGE_SHARED_NODE属性的节点，设置FLINK_MESSAGE_SHARED_NODE属性；

其中需要转化为Flink算子的节点不设置为FLINK_MESSAGE_SHARED_NODE节点。

4.根据权利要求1所述的Flink框架运行ETL的流程分解方法，其特征在于，遍历ETL的有向无环图DAG，识别出数据源节点、FLINK_REDUCE_NODE属性的节点与FLINK_CONNECTOR_NODE属性的节点，并根据所述FLINK_REDUCE_NODE属性的节点与FLINK_CONNECTOR_NODE属性的节点识别出所有FLINK_MESSAGE_SHARED_NODE属性的节点，将所述数据源节点、FLINK_REDUCE_NODE属性的节点、FLINK_CONNECTOR_NODE属性的节点与FLINK_MESSAGE_SHARED_NODE属性的节点设置为Splitting属性的节点；

以相邻的两个所述Splitting属性的节点作为依据，生成由相邻的两个所述Splitting属性的节点之间的一个或者多个ETL节点构成的子集。