[发明专利]一种基于分块的Web记录链接的系统及方法

权利要求书

1.一种基于分块的Web记录链接的系统，其特征在于，包括Web爬取器、Sample数据库、Web记录数据库、分块属性分析模块、分块模块、块平衡模块、成对匹配模块、匹配确定模块和记录链接结果集；所述Web爬取器，一方面负责爬取某一领域的部分Web数据，建立该领域Web记录的Sample数据库；另一方面爬取这一领域Web数据库的数据获取尽可能多的记录，建立待匹配的Web记录数据库；所述Sample数据库，负责存放该领域Web记录的随机样本；所述Web记录数据库，负责存放该领域的Web数据库可爬取到的所有记录；所述分块属性分析模块，将数据属性根据其覆盖率和区分度加权求和并从大到小排序，排序第一的数据属性即为最优分块属性，排序第二的为次优分块属性，所述覆盖率为给定一个属性，在此属性上有属性值的记录数占所有记录个数的比例，所述区分度为给定一个属性，不同属性值的记录个数占所有记录个数的比例；所述分块模块，负责采用分块函数，并应用MapReduce编程模型，将Web记录数据库的记录分到若干个块中；所述块平衡模块，负责将较大的块分成更小的子块；所述成对匹配模块，负责对块内记录进行成对匹配，在同属于一个块的子块间进行交叉成对匹配；所述匹配确定模块，负责考察由于采用不同的分块函数产生的有冲突的匹配对，确定正确的匹配结果；所述记录链接结果集，负责存放最后正确的匹配结果。

2.一种如权利要求1所述的基于分块的Web记录链接的系统的Web记录链接方法，其特征在于，包括如下步骤：

A：爬取Web数据，建立随机样本数据库和待匹配的记录数据库，通过随机样本数据库提取数据属性，数据属性包括单个数据属性或数据属性组，将数据属性根据其覆盖率和区分度的加权数从大到小排列，将加权数最大的数据属性作为最优分块属性；

B：将待匹配的记录数据库的Web记录按模式对齐，根据最优分块属性，通过分块函数，并应用MapReduce编程模型加快分块的过程，将Web记录分成若干个块；

在步骤B中，使用MapReduce并行执行分块过程中，对每一个输入的Web记录，调用映射函数，对于互不重叠的Web记录，并行执行这一过程，输出分块属性的属性-函数值对，将具有相同属性-函数值对的Web记录分配到同一Reducer上，在不同块并行执行成对匹配；

C：考察步骤B中得到的每个块的大小，将需要平衡的块分成更小的子块；

在步骤C中，将超出平均工作负载的块作为需要平衡的块；

在步骤C中，需要平衡的块被分裂成更小的子块，在子块内将进行成对匹配，在同属于一个块的子块间将进行交叉成对匹配；

D：采用编辑距离相似度计算方法在块内进行成对匹配，在同属于一个块的子块间进行交叉成对匹配；

E：采用重叠分块函数方法，重复B、C、D步骤，重叠分块函数的方法，是根据与B步骤中不同的次优分块属性，对数据集进行再次分块；

F：合并采用不同分块属性得到的成对匹配记录，获得所有的记录链接结果。

3.根据权利要求2所述的一种基于分块的Web记录链接方法，其特征在于，在步骤A中，根据不同领域数据属性的特点分配覆盖率和区分度的权重。

4.根据权利要求2所述的一种基于分块的Web记录链接方法，其特征在于，在步骤B中，根据最优分块属性设立分块函数，将在此最优分块属性上具有不同值的Web记录分到不同的块中。

5.根据权利要求2所述的一种基于分块的Web记录链接方法，其特征在于，在步骤C中，考察块内匹配或块内的子块块间匹配的次数，采用贪心算法，加载需要进行匹配计算的块或者子块。