[发明专利]一种基于工作流的通用ETL工具的过程模型生成方法

说明书

本发明公开了一种基于工作流的通用ETL工具的过程模型生成方法，在ETL概念模型的基础上进行抽象，完成整个ETL的控制以及任务的定时执行和调度，建立基于工作流的ETL模型，在此基础上构建ETL流程的有向图，通过集成变换、分解、合并、串行化、并行化、添加还原点、分流和复制八种State变换方式，使得ETL过程在经过恰当的变换之后，变成一个执行效率更高的新ETL过程。基于工作流的ETL系统的概念模型，不同于传统的ETL模型，它屏蔽了底层的具体数据抽取、转换和加载步骤，当业务发生改变时，用户只需要修改ETL流程图即可。大大提高了开发效率，减少开发成本，真正的实现了数据仓库和数据集成平民化。

技术领域

本发明属于数据处理技术领域，具体涉及一种基于工作流的通用ETL工具的过程模型生成方法。

背景技术

近几年，随着电子商务的崛起和信息技术产业的飞速发展，信息孤岛的存在变得越来越普遍。全球每年投入在应用系统的集成和数据整合有3000亿美元之巨，并且这个数据还在以每年28％的量在增长，同时，越来越火热的系统集成和数据仓库市场，使得越来越多的ETL工具涌现出来。

传统的ETL设计方法和ETL工具已经越来越不适应不断变化的需求，因为传统的ETL的设计和开发除了需要熟悉数据表的结构和处理数据的规则，以及非常好的编程能力之外，还需要对整个ETL的流程以及ETL流程的每一步的细节是如何处理的非常熟悉。当商业需求的规则或者数据源发生改变时，传统的ETL设计者必须重新编程设计整个ETL或者进行大量的修改工作。因此，对通用ETL的研究变得越来越迫切。它能够降低对ETL设计人员的要求，适应不断更改的业务逻辑，减少企业和单位的开发时间和成本，将数据仓库变得平民化。

目前，国内对通用ETL的研究几乎一片空白，一部分ETL工具是传统的对物化视图的维护，对设计者和使用者的要求非常高，一部分ETL工具是设计于专门的应用背景，只能在其特定的业务背景下使用，还有一部分则是直接编写脚本或程序来对源数据进行抽取、转换和加载，当数据的结构或ETL的需求发生改变时，整个项目几乎没有重用性可言。国外对ETL系统的研究相对而言要更加全面和成熟，ETL的研究主要体现在对整个ETL过程的建模以及ETL的转换过程和优化上。但是，无论上面提到的哪一种，都有几个共同的缺点，那就是可复用性差、通用性差。

发明内容

针对上述问题，本发明在传统ETL概念模型基础上，提出一种基于工作流的通用ETL工具的过程模型生成方法，对ETL概念模型进行抽象，完成整个ETL的控制以及任务的定时执行和调度，建立基于工作流的ETL模型工具，在此基础上构建ETL流程的有向图，同时集成变换、分解、合并、串行化、并行化、添加还原点、分流和复制八种State变换方式优化了状态转换。

实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于工作流的通用ETL工具的过程模型生成方法，其特征在于，包括以下步骤：

S1：建立基于工作流的ETL模型工具，包括作业主控模块和抽取、转换、装载模块；

S2：构建与所述ETL模型工具对应的流程图T，所述流程图T包括若干个有向图G，分别定义为G1…Gn；

S3：建立变换、分解、合并、串行化、并行化、添加还原点、分流和复制八种变换规则；

S4；在ETL模型工具整个流程执行过程中，利用所述八种变换规则来改变各有向图G，直至选出变换后时间最小的情况下的所有有向图G，构成通用ETL模型工具的过程模型，以实现优化ETL工具整个流程执行过程。

进一步地，所述步骤S1中的作业主控模块用于完成对ETL所有作业的调度工作，实现ETL作业的定时、排队、并行调度、流程控制、日志记录，根据配置文件确定各个Job的启动条件、执行顺序以及是否依赖于其他的Job，当某个Job满足启动条件时，作业主控模块启动该Job，并按照顺序执行该Job的子任务流程。