[发明专利]基于语义分析与多重Simhash的文本近似重复检测方法

说明书

本发明公开了一种基于语义分析与多重Simhash的文本近似重复检测方法，本发明引入语法、句法、语义等信息，首先根据多因素综合考虑词的重要性而获得文章的关键词，然后创新地提出以关键词前后一定数目的词为文章特征，并以此计算SimHash，在处理语义的问题上，通过同义词替换的方法来消除同义词，然而这种方法比较激进，因此一定程度上降低了准确率，因此采用二重SimHash的方法，即只有在一定范围内才会使用这种激进的计算方式，结果表明改进的检测方法要比传统的SimHash、Shingling等方法效果更优。

技术领域

本发明涉及一种文本重复检测方法，尤其涉及一种基于语义分析与多重Simhash的文本近似重复检测方法。

背景技术

在数据挖掘和知识信息发现领域，随着大规模数据喷涌而出而来的一大挑战就是过多的重复信息。国外有关研究表明，有1.7％～7％的重复网页充斥在互联网环境中。这种问题在中国互联网环境中更为突出，中国互联网环境尚未成熟，版权保护机制与网民素养尚未完善，很多信息都被大量的剽窃和转载，据有关统计，中国互联网络中有超过30％的重复页面。而重复信息太多也是互联网信息检索中遇到的主要问题之一。

与网页重复检测相比，文本重复检测更加困难，这是由于语法、句式以及词语含义的多变性，而中文的复杂语言结构更是给重复检测增加了困难。近似重复的相关研究，已经有十余年的历史，其大多数是针对英文网页重复设计的。根据其相似匹配位于的阶段不同，可以简单分为两类，一类是单纯两两根据文本信息直接进行相似匹配，另一种是将每个文档的信息生成一个指定长度的编码(一般是64位)，只通过这个编码来进行相似匹配，这种方式称为指纹算法。

然而目前绝大多数算法均是针对几乎完全相同的文章，而对于词的替换、句式的变换、或者保证原文含义不变的情况下重写等近似重复问题效果一般。因此在实际应用上具有一定的局限性。

发明内容

本发明的目的在于针对现有技术的局限和不足，提供一种基于语义分析与多重Simhash的文本近似重复检测方法。

本发明的目的是通过以下技术方案来实现的：一种基于语义分析与多重Simhash的文本近似重复检测方法，利用词语的词性和统计特征选择文本的关键词，在关键词周围选取词作为文本特征，对同义词进行编码，消除同义词，利用文本特征和全文分别计算Simhash，利用多重Simhash检测文档重复；具体包括以下步骤：

(1)对中文文章进行预处理：将原始文本进行分词、去除停用词处理，余下的词称为文章的实义词；

(2)选取关键词：以tfidf、词性、词长、词首次出现的位置计算每个实义词的权重，选取权重最高的N₁个词作为关键词。N₁的取值范围为[5，15]。

词的权重计算方式为：

其中w_i表示文档中第i个词，tfidf_i表示这个词的tfidf，len(x)表示x(文档或词)的长度，pos_i表示词首次出现的位置，pro_i表示词性的权重指标，pro_i的取值范围为[0，1]。λ₁～λ₄为不同指标的权重，且满足λ₁＞λ₂＞λ₄＞λ₃。

表示词性的权重指标。为不同指标的权重的取值范围为(3)选取关键词每次出现位置前后各N₂个词作为文本特征，若关键词出现位置前或后不足N₂个词，则取到文首或文尾为止。N₂的取值范围为[6，14]。