[发明专利]一种基于分块的Web记录链接的系统及方法

摘要

本发明公开了一种基于分块的Web记录链接的系统，包括Web爬取器、Sample数据库、Web记录数据库、分块属性分析模块、分块模块、块平衡模块、成对匹配模块、匹配确定模块和记录链接结果集，一种基于分块的Web记录链接方法，采用Mapreduce模型快速将来自各个数据源的数据分块，在块内比较记录将在很大程度上提高记录匹配的效率，在此基础上，平衡块的大小，进一步提高的了记录匹配的效率。采用多分块函数对数据集从多个角度分块的方法，也同时提高了记录链接的召回率。

主权项

一种基于分块的Web记录链接的系统，其特征在于，包括Web爬取器、Sample数据库、Web记录数据库、分块属性分析模块、分块模块、块平衡模块、成对匹配模块、匹配确定模块和记录链接结果集；所述Web爬取器，一方面负责爬取某一领域的部分Web数据，建立该领域Web记录的Sample数据库；另一方面爬取这一领域Web数据库的数据获取尽可能多的记录，建立待匹配的Web记录数据库；所述Sample数据库，负责存放该领域Web记录的随机样本；所述Web记录数据库，负责存放该领域的Web数据库可爬取到的所有记录；所述分块属性分析模块，负责确定最优的分块属性；所述分块模块，负责采用分块函数，并应用MapReduce编程模型，将Web记录数据库的记录分到若干个块中；所述块平衡模块，负责将较大的块分成更小的子块；所述成对匹配模块，负责对块内记录进行成对匹配，在同属于一个块的子块间进行交叉成对匹配；所述匹配确定模块，负责考察由于采用不同的分块函数产生的有冲突的匹配对，确定正确的匹配结果；所述记录链接结果集，负责存放最后正确的匹配结果。