[发明专利]基于逆向清理的数据整合系统及方法

权利要求书

1.一种基于逆向清理的数据整合系统，其特征在于，包括：

数据整合模块，用于从数据源中将源数据进行抽取、清洗、转换并装载为有效数据供应用平台调用；

逆向清理模块，用于根据所述有效数据，对所述源数据进行错误修正及更新。

2.根据权利要求1所述的基于逆向清理的数据整合系统，其特征在于，所述数据整合模块包括：

适配器，用于根据适配规则对内存中已解析的源数据进行适配，将符合适配规则的源数据保留为临时数据；

临时存储单元，用于抽取来自所述适配器的所述临时数据；

清洗规则单元，用于根据设计的清洗规则对所述临时存储单元中的所述临时数据进行清洗和转换；

有效数据存储单元，用于存储经所述清洗规则单元清洗和转换后的有效数据；

历史数据存储单元，用于定时保存所述临时存储单元中的所述临时数据并清空所述临时数据存储单元。

3.根据权利要求2所述的基于逆向清理的数据整合系统，其特征在于，所述适配器与所述数据源一一对应，所述数据源的数量为多个，且多个数据源的结构各不相同。

4.根据权利要求3所述的基于逆向清理的数据整合系统，其特征在于，所述适配器处设有监控线程，所述监控线程实时监控来自所述数据源的源数据的时间戳，并将更新时间有变化的源数据解析到内存；

所述清洗规则单元中设有实时清洗线程，所述实时清洗线程发现所述临时存储单元中的所述临时数据增加时，从上次读取数据的结束位置开始继续对所述临时数据存储单元中的所述临时数据进行清洗和转换，得到的有效数据实时存储到所述有效数据存储单元中。

5.一种基于逆向清理的数据整合方法，其特征在于，包括以下步骤：

数据整合：从数据源中将源数据进行抽取、清洗、转换并装载为有效数据供应用平台调用；

逆向清理：根据所述有效数据，对所述源数据进行错误修正及更新。

6.根据权利要求5所述的基于逆向清理的数据整合方法，其特征在于，所述数据整合具体包括以下步骤：

101、根据适配规则对内存中已解析的源数据进行适配，将符合适配规则的源数据保留为临时数据并存储；

102、根据设计的清洗规则对所述临时数据进行清洗和转换，得到清洗和转换后的有效数据并保存；

103、定时将所述临时数据作为历史数据保存。

7.根据权利要求6所述的基于逆向清理的数据整合方法，其特征在于，所述步骤101之前，实时监控来自数据源的源数据的时间戳，并将更新时间有变化的源数据解析到内存。

8.根据权利要求7所述的基于逆向清理的数据整合方法，其特征在于，所述步骤102中，还包括步骤：当所述临时数据增加时，从上次读取数据的结束位置开始继续对所述临时数据进行清洗和转换，得到的有效数据实时存储。

9.根据权利要求5～8中任一项所述的基于逆向清理的数据整合方法，其特征在于，所述逆向清理具体包括以下步骤：

201、建立数据来源树：读取源数据并打上标记，根据数据清洗过程建立数据来源树；

202、查询数据来源：当平台数据被修改后，获得相关的数据来源树，逆向找到被修改的数据的原始来源及源数据；

203、清理源数据：根据被修改后的平台数据或目标数据对所述源数据进行修正及更新。