[发明专利]基于逆向清理的数据整合系统及方法

说明书

技术领域

本发明涉及数据整合领域，特别涉及一种多源异构数据的整合系统及方法。

背景技术

目前异构数据整合技术的实现方案之一是数据仓储模式。数据仓储模式是从一个或多个数据源中抽取数据，并对数据进行必要的处理，最终将数据存储到目标数据仓库中。数据存储模式一般采用ETL(Extract、Transform、Load)和数据仓库的形式。ETL过程包括数据抽取、数据转换和数据加载。ETL负责将分布的、异构数据源中的数据抽取到临时中间层后进行清洗和转换，最后加载到数据仓库或数据集市中。虽然ETL过程目前在国内外的研究属于相对成熟时期，但，异构数据整合过程仍然存在以下的不足之处：

(1)传统的异构数据整合技术是基于ETL过程对数据进行抽取、集成、清洗和装载。数据的更新为定期的周期性，用户必须在程序中设定一个时间间隔值来指定每隔多久进行一次读取，它的周期越长实时性就越低，这导致了数据的非实时问题。

(2)如果源数据来源于企业内部，那么源数据的数据质量对企业的其他应用也是相当重要的。数据质量是异构数据整合中重要的研究领域，其高低影响着用户能否制定正确的决策，当数据具有高质量时，对企业产生的有效信息资源也会是高质量的。但传统的ETL过程只有对源数据的使用，没有对源数据进行反向修改，不能提高和保证源数据的质量，这不利于企业内部不同平台间的数据调用、共享、数据统一和数据更新。目前，对数据源错误数据的反馈和修改还没有一个成熟有效的模型。

发明内容

本发明目的在于提供一种能对源数据进行逆向修正的基于逆向清理的数据整合系统及方法，以解决传统的ETL过程中缺少对源数据的质量提高和修正的技术问题。

为实现上述目的，本发明提供了一种基于逆向清理的数据整合系统，其特征在于，包括：

数据整合模块，用于从数据源中将源数据进行抽取、清洗、转换并装载为有效数据供应用平台调用；

逆向清理模块，用于根据所述有效数据，对所述源数据进行错误修正及更新。

进一步地，所述数据整合模块包括：

适配器，用于根据适配规则对内存中已解析的源数据进行适配，将符合适配规则的源数据保留为临时数据；

临时存储单元，用于抽取来自所述适配器的所述临时数据；

清洗规则单元，用于根据设计的清洗规则对所述临时存储单元中的临时数据进行清洗和转换；

有效数据存储单元，用于存储经所述清洗规则单元清洗和转换后的有效数据；

历史数据存储单元，用于定时保存所述临时存储单元中的所述临时数据并清空所述临时数据存储单元。

更进一步地：

所述适配器与所述数据源一一对应，所述数据源的数量为多个，且多个数据源的数据结构各不相同。

所述适配器处设有监控线程，所述监控线程实时监控来自所述数据源的源数据的时间戳，并将更新时间有变化的源数据解析到内存；

所述清洗规则单元中设有实时清洗线程，所述实时清洗线程发现所述临时存储单元中的所述临时数据增加时，从上次读取数据的结束位置开始继续对临时数据存储单元中的所述临时数据进行清洗和转换，得到的有效数据实时存储到所述有效数据存储单元中。

本发明还提供了一种基于逆向清理的数据整合方法，包括以下步骤：

数据整合：从数据源中将源数据进行抽取、清洗、转换并装载为有效数据供应用平台调用；

逆向清理：根据所述有效数据，对所述源数据进行错误修正及更新。

上述的方法中，所述数据整合具体包括以下步骤：

101、根据适配规则对内存中已解析的源数据进行适配，将符合适配规则的源数据保留为临时数据并存储；

102、根据设计的清洗规则对所述临时数据进行清洗和转换，得到清洗和转换后的有效数据并保存；

103、定时将临时数据作为历史数据保存。

上述的方法中，所述步骤101之前，实时监控来自数据源的源数据的时间戳，并将更新时间有变化的源数据解析到内存。

上述的方法中，所述步骤102中，还包括步骤：当所述临时数据增加时，从上次读取数据的结束位置开始继续对临时数据进行清洗和转换，得到的有效数据实时存储。

上述的方法中，所述逆向清理具体包括以下步骤：

201、建立数据来源树：读取源数据并打上标记，根据数据清洗过程建立数据来源树；

202、查询数据来源：当平台数据被修改后，获得相关的数据来源树，逆向找到被修改的数据的原始来源及源数据；