[发明专利]文档的检测方法及系统

摘要

本发明实施例提供一种文档的检测方法及系统，涉及互联网数据处理技术领域，解决了现有的近似重复文档检测方法在查准率和查全率方面都不能达到较高要求的问题。本发明实施例中，采用了多特征指纹查询与文档相似度比较相结合的方法，由于多个特征指纹能准确地反应出待测网页文档与其它网页文档相区别的特征，且根据已有数据库中特征指纹与近似重复文档的对应关系能快速查询符合条件的记录，因此可提高近似重复文档检测的准确率和效率。通过采用文档相似度检测方法，能防止因数据库不完善造成的待测网页文档确实属于近似重复文档却不能被多特征指纹查询检测出来的情况发生，从而提高了近似重复文档检测的查全率。

主权项

一种文档的检测方法，其特征在于，包括：在待测网页文档中抽取字符以获取至少一个文档特征；对每一个所述文档特征进行哈希计算获得相应的特征指纹；如果根据每一个所述特征指纹在指纹映射数据库中未查找到与所述待测网页文档相似的文档簇，则将所述待测网页文档与指定天数内的网页文档进行相似度比较；如果所述指定天数内的网页文档中与所述待测网页文档的相似度值大于相似度阈值的网页文档包含于文档映射数据库的文档簇中，则所述文档映射数据库的所述文档簇为目标文档簇，所述待测网页文档为所述目标文档簇的近似重复文档。