[发明专利]数据集成方法和装置

说明书

技术领域

本发明涉及数据集成领域，具体涉及将多个数据源中的数据进行集成的方法和装置。

背景技术

随着信息化社会的发展和进步，出现了大量的数据信息。随着个人的成长、机构的发展、事件的推进等，必然会出现大量关于个人、机构、事件等的数据信息片段，即，关于个人、机构、事件等的数据信息会被记录在不同的数据源中，而每个数据源也仅包含了关于个人、机构、事件等的一部分数据信息。为了完善信息记录，对个人、机构、事件等的情况进行全面了解，需要将多个数据源中所包含的数据信息整合到一起。

在整合数据信息的过程中，不可避免地会遇到数据冲突问题。例如，不同的数据源中所记录的针对同一个人、机构、事件等的数据信息是彼此矛盾的。这就需要在整合数据信息时，考虑如何处理这些数据冲突。

在现有技术中，提出了一种处理数据冲突的方法，根据该方法，需计算来自不同数据源的每两条数据记录的相似度。采用基于语义的向量空间模型，每一对数据记录都被映射到二进制向量上。这样，两条数据记录的相似度就可以用向量的相似度方法来计算。但这种方法必须计算每两条数据记录的相似度，数据复杂度为O(n²)，计算量大，处理速度慢，并且耗费系统资源。

发明内容

有鉴于此，本发明提出了一种数据集成方法和装置，以对多个数据源中的数据进行快速集成。

根据本发明的一个方面，提供了一种数据集成方法，包括：从多个数据源所包含的多个不同数据域中选取关联域；基于所选取的关联域，建立位图和哈希表；利用所建立的位图和哈希表，以所述关联域中的数据元素为索引，依次判断所述多个数据源的多个数据域中的每个数据元素是否具有冲突；以及根据判断结果，将所述多个数据源中的数据元素集成为数据仓库(datarepository)。

根据本发明的另一方面，提供了一种数据集成装置，包括：关联域选取单元，用于从多个数据源所包含的多个不同数据域中选取关联域；位图建立单元，用于基于所述关联域选取单元选取的关联域，建立位图；哈希表建立单元，用于基于所述关联域选取单元选取的关联域，建立哈希表；冲突检测单元，用于利用所述位图建立单元建立的位图和所述哈希表建立单元建立的哈希表，以所述关联域中的数据元素为索引，依次判断所述多个数据源的多个数据域中的每个数据元素是否具有冲突；以及集成单元，用于根据所述冲突检测单元的判断结果，将所述多个数据源中的数据元素集成为数据仓库。

根据本发明所提供的技术方案，可以将多个数据源中的数据快速地集成为数据仓库。

附图说明

参照附图来阅读本发明的各实施方式，将更容易理解本发明的其它特征和优点，在此描述的附图只是为了对本发明的实施方式进行示意性说明的目的，而非全部可能的实施，并且不旨在限制本发明的范围。在附图中：

图1示出了根据本发明一个实施方式的数据集成方法的流程图；

图2示出了两个示例性数据源；

图3示出了根据本发明一个实施例基于图2中两个数据源的关联域所建立的位图和哈希表的示例；

图4a示出了一个8位的哈希表的更新操作；

图4b示出了一个8位的哈希表的检测操作；

图5示例性地示出了通过本发明的数据集成方法所获得的数据仓库；

图6示例性地示出了通过本发明的数据集成方法所生成的冲突报告；

图7示出了根据本发明的一个实施方式从多个数据源所包含的多个不同数据域中选取关联域的流程图；

图8示出了根据本发明一个实施方式的数据集成装置的框图；

图9示出了根据本发明另一实施方式的数据集成装置的框图；

图10示出了根据本发明另一实施方式的关联域选取单元的框图；以及

图11示出了可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。

具体实施方式

现参照附图对本发明的实施方式进行详细描述。应注意，以下描述仅仅是示例性的，而并不旨在限制本发明。此外，在以下描述中，将采用相同的附图标号表示不同附图中的相同或相似的部件。在以下描述的不同实施方式中的不同特征，可彼此结合，以形成本发明范围内的其他实施方式。