[发明专利]一种ETL流程执行系统

说明书

本发明公开了一种ETL流程执行系统，属于数据处理技术领域。本发明首先启动ETL流程；然后选择待执行的数据容器装置；所述数据容器装置依次读取第三方应用提供的数据源参数文件中的数据源参数，提供给ETL流程执行装置；ETL流程执行装置根据数据源参数确定数据源所在位置，打开数据源，执行ETL流程，直到所有数据源被执行完毕。本发明通过增加数据容器装置，实现了在运行时刻决定数据源位置的功能，使ETL流程执行系统不再局限于针对固定数据源的处理，灵活性大大提升，并且提供了动态批量数据处理的能力。

技术领域

本发明属于数据处理技术领域，具体涉及一种ETL流程执行系统，尤其适用于数据挖掘领域中。

背景技术

ETL(Extraction-Transformation-Loading，数据提取、转换和加载)负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL抽取、处理、加载数据的过程通常由专门的ETL软件来完成。ETL软件通常提供若干种数据源对象，以支持不同种类的数据源格式，并提供若干种不同类型的数据处理单元，利用这些数据处理单元的任意组合，满足用户对数据的各种转换、处理需求。因此，利用ETL软件可以比较灵活的实现数据的各种格式转换及数据处理任务，例如增减字段、计算字段数值、联合表、记录过滤等。

但是在实际项目应用中，仅依靠数据处理单元的任意组合来满足项目的各种数据处理需求，但仍存在一定局限性。其表现在以下几个方面：

(1)要处理的数据来源灵活，并非事先固定，很可能由实时确定的外界条件来确定数据源的位置及具体格式；

(2)要执行ETL过程的条件不固定，其同样可能是动态确定的。

传统的ETL软件，其通常提供以下对象实现数据的ETL过程：

数据源对象：ETL软件对于每一种支持的数据格式，均实现一个数据源对象，该对象负责将数据以记录的方式从原始数据格式中读取出来，并转化为统一的数据模型提供给数据处理单元。如果支持对该格式的生成功能，数据源对象还负责将数据处理单元产生的记录按照要求的格式写入到目标数据源中。

数据处理单元(处理器)：ETL软件对于每一种数据处理功能，均提供一个数据处理单元实现该功能。数据处理单元负责接收数据源或者另一个数据处理单元输出的记录，对其进行变换处理，然后再将处理结果以记录的形式输出出来。

ETL的数据处理单元是可以任意组合并不断扩充的，即前一个处理单元输出的记录可以作为后一个处理单元的输入记录，因此ETL软件在数据处理方面具有较大的灵活性。

ETL软件的这种实现方式，可以满足一般的数据处理需求，但是当其以一个工具形式应用在实际项目中时，则存在一定局限性，限制了ETL软件的应用范围。其满足不了数据处理的如下需求：

(1)动态确定的数据源：当数据源不是事先固定，而是动态确定的。例如，在实际应用环境下，可能需要通过读取动态生成的配置文件确定数据源的位置。

(2)动态确定的执行时间点：此时ETL数据处理不是由手动触发，也不是在固定的时间点触发，而是由外部条件动态确定。例如，在实际应用环境下，可能需要通过判断一个共享文件夹中数据的修改时间变化，确定ETL过程的启动。

此外，以上这种动态确定的具体规则又是灵活多样的，在具体的数据处理需求中很难以一套固定化的模式实现，因此一个传统的ETL工具并不适用于以上的数据处理情景。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能够动态确定数据源的ETL流程执行系统。

为解决上述技术问题，本发明采用的技术方案如下：