[发明专利]一种多数据集中重复记录动态检测方法

摘要

本发明公开了一种动态地、并发地从多个信息源的数据集中检测数据内容完全相同的记录组的方法，本发明的检测方法从多个信息源的数据集中读取每条初始记录或变更记录，依据记录的固有字段由本发明构造的hash函数和验证码函数计算各记录Hash码和检验码，并动态地创建、修改一组由所有信息源的数据集所共享的桶及其相关信息，快速检测出分布在各个信息源中的重复记录组。本发明具有效率高、正确率高、内存资源利用率高、能够动态进行增量检测的优点。

主权项

一种多数据集中重复记录动态检测方法，其特征在于，包括以下步骤：(1)从初始数据集中读取一条记录，设所述记录由N个固有字段组成，第i个固有字段为fi，其中1≤i≤N；(2)计算所述记录的Hash码，所述记录的Hash码的计算方法为：Hash函数如下： H i = hashCode ( f 1 ) i = 1 H i - 1 hashCode ( f i ) i ≥ 2 , 其中hashCode(fi)为fi按照Java语言内置的Hash函数的计算方法生成的Hash码；则所述记录的Hash码为HN；(3)计算所述记录的检验码；(4)向桶注册中心查询是否已存在该Hash码对应的共享桶；所述共享桶属于所有信息源所共享的桶集，包括以下信息：共享桶的ID号：作为识别一个共享桶的唯一标识，其取值为散列到其对应的共享桶的所有记录所共有的Hash码；共享桶的检验码：取值为散列到其对应的共享桶的所有记录所共有的检验码；共享桶的代表记录：取值为导致桶创建的那条记录；散列到共享桶的记录计数：用于统计散列到共享桶中重复记录数；与代表记录发生散列冲突的记录标识列表；各信息源散列到共享桶的记录计数：用于统计散列到共享桶中各信息源重复记录数；与共享桶的代表记录重复的记录标识列表；(4‑1)若查询不到所述记录的Hash码对应的共享桶，则新建一个共享桶，将所述记录设为该新共享桶的代表记录，将所述记录的Hash码和检验码分别设为新桶的ID号和检验码，散列到共享桶的记录计数初始化为1，与代表记录发生散列冲突的记录标识列表置为空，代表记录所在的信息源散列到共享桶的记录计数初始值为1，非代表记录所在的信息源散列到共享桶的记录数初始值为0，与共享桶的代表记录重复的记录标识列表的置为空，并向桶注册中心注册；(4‑2)若查询到所述记录的Hash码对应的共享桶，则将所述记录的检验码和该共享桶的检验码进行比较：(4‑2‑1)若记录的检验码和该共享桶的检验码相同，则将散列到该共享桶的记录计数增1、该记录所对应的信息源散列到共享桶的记录计数增1、将记录标识插入与代表记录重复的记录标识列表；(4‑2‑2)若记录的检验码和共享桶的检验码不同，检查记录是否作冲突标记：(4‑2‑2‑1)若标记过，将记录标识直接插入该共享桶所对应的与代表记录发生散列冲突的记录标识列表；(4‑2‑2‑2)若没标记过，重新为记录生成Hash码，并标记该记录发生过散列冲突，重复步骤(4)；(5)判断所述记录是否初始记录集的最后一条记录，若是，则对散列到桶的记录计数大于1的共享桶和散列冲突记录标识列表非空的共享桶做重复记录处理；若否，则读取初始数据集中的下一条记录：重复步骤(2)～(5)。