[发明专利]一种基于工作流的通用ETL工具的过程模型生成方法

摘要

本发明公开了一种基于工作流的通用ETL工具的过程模型生成方法，在ETL概念模型的基础上进行抽象，完成整个ETL的控制以及任务的定时执行和调度，建立基于工作流的ETL模型，在此基础上构建ETL流程的有向图，通过集成变换、分解、合并、串行化、并行化、添加还原点、分流和复制八种State变换方式，使得ETL过程在经过恰当的变换之后，变成一个执行效率更高的新ETL过程。基于工作流的ETL系统的概念模型，不同于传统的ETL模型，它屏蔽了底层的具体数据抽取、转换和加载步骤，当业务发生改变时，用户只需要修改ETL流程图即可。大大提高了开发效率，减少开发成本，真正的实现了数据仓库和数据集成平民化。

主权项

1.一种基于工作流的通用ETL工具的过程模型生成方法，其特征在于，包括以下步骤：S1：建立基于工作流的ETL模型工具，包括作业主控模块和抽取、转换、装载模块；S2：构建与所述ETL模型工具对应的流程图T，所述流程图T包括若干个有向图G，分别定义为G1…Gn；S3：建立变换、分解、合并、串行化、并行化、添加还原点、分流和复制八种变换规则；S4；在ETL模型工具整个流程执行过程中，利用所述八种变换规则来改变各有向图G，直至选出变换后时间最小的情况下的所有有向图G，构成通用ETL模型工具的过程模型，以实现优化ETL工具整个流程执行过程；所述步骤S3中的八种变换规则具体包括：变换、分解、合并、串行化、并行化、添加还原点、分流和复制；所述变换Swap(v₁,v₂)具体为：将节点v₁和节点v₂相互交换；所述分解Split(v₁₊₂,v₁,v₂)具体为：将节点v₁₊₂分解为v₁、v₂；所述合并Merge(v₁,v₂,v₁₊₂)具体为：将节点v₁、v₂合并为v₁₊₂；所述串行化Factorize(v₁,v₂,v₃,v₁₊₂)具体为：将处于不同的数据流中，但是类型相同的节点v₁、v₂合并为一个新的节点v₁₊₂；所述并行化Distribute(v₁,v₂,v₃,v₁₊₂)具体为：将节点v₁₊₂分解为两个类型相同的节点v₁、v₂，让节点v₁、v₂处于不同的数据流中；所述添加还原点AddRecoveryPoint(v,v_RP)具体为：在节点v处添加还原点v_RP；所述分流Partion(v₁,v₂,n)具体为：将节点v₁、v₂之间的数据流分为n份；所述复制Replicate(v₁,v₂,n)具体为：将节点v₁、v₂之间的数据复制n份。