[发明专利]一种Flink框架运行ETL的流程分解方法和装置

说明书

本发明涉及数据处理技术领域，提供了一种Flink框架运行ETL的流程分解方法和装置。本发明专利就ETL流程翻译转化成flink API语句操作算子链提供了一种高效稳定便利方法。不用在操作算子Function重新实现数据处理逻辑代码，不破坏流程的完整性，基本保存单服务器版ETL流程原有的顺序性，并且与单服务器ETL DAG运行逻辑一致，完全重用ETL运行流程逻辑实现；既可以使用Flink内置的算子提供的Function或内置的connector提供的Function，又可以完全使用ETL组件进行数据的计算处理；任何ETL流程都可以翻译转化成Flink API语句的操作算子链，提交给Flink框架执行，具备通用便利性，完全避免flink算子函数中人工编写数据处理逻辑代码。

【技术领域】

本发明涉及数据处理技术领域，特别是涉及一种Flink框架运行ETL的流程分解方法和装置。

【背景技术】

ETL是数据处理、构建数据仓库的一个重要工具软件，它完成异构数据源的抽取、清洗转换，然后加载的一个过程。传统的ETL一般是把流程发布到一个集中的ETL服务器节点上运行，所有的流程或流程内组件的运行采用多线程机制，再多的流程也只能在一个单一节点运行，并且一个大数据的处理流程，也无法提高数据处理的性能。

Flink大数据平台在大数据处理中已经取得相当广泛的应用,是一个分布式处理引擎框架，用于对无界和有界数据流进行有状态计算，具备极高的故障恢复性能和容错性能。

如果ETL流程能够提交到Flink框架运行，可以极大提高流程并发执行能力，并且可以充分利用流式处理的有状态计算来提高流程运行稳定可靠性。

由于Flink提交任务需要构建一个Source Stream-transform Stream-StreamSink的操作，因此，现有技术中若要将ETL流程直接在Flink的Source Stream-transformStream-Stream Sink的操作中实现，必定会涉及重新实现数据处理逻辑代码，需要破坏ETL流程的完整性。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是提供一种Flink框架运行ETL的流程分解方法。

本发明进一步要解决的技术问题是提供一种Flink框架运行ETL的流程分解装置。

本发明采用如下技术方案：

第一方面，一种Flink框架运行ETL的流程分解方法和装置，流程分解方法包括：

遍历ETL的有向无环图DAG，识别出一个或者多个Splitting属性的节点；其中，所述Splitting属性节点包括数据源节点、FLINK_MESSAGE_SHARED_NODE属性的节点与需要转化为Flink算子的节点中的一个或者多个；

按照ETL流程DAG有向无环图节点先后顺序，从数据源节点开始，以相邻的两个所述Splitting属性的节点作为依据，生成由相邻的两个所述Splitting属性的节点之间的一个或者多个ETL节点以及节点之间的连接线构成的ETL流程子集，在Flink算子中使用；构造所述两个相邻Splitting属性的节点之间所对应的flink API语句操作算子链；

其中，在生成所述子集过程中，为每一个所述ETL流程子集分别构建TYPE_FLINK_PROCESS_SOURCE节点用于接收上一个Flink算子输出的数据集或者数据流，以及TYPE_FLINK_PROCESS_SINK节点用于将ETL流程子集转换处理后的数据发送给下一个flink算子；从而将ETL的处理过程承载到Flink框架中完成。

优选的，所述的需要转化为Flink算子的节点具体包括FLINK_REDUCE_NODE属性的节点与FLINK_CONNECTOR_NODE属性的节点；