[发明专利]一种文本去重方法和装置

说明书

本发明提供了一种文本去重方法和装置，技术方案为：对案例文本的特征词串进行切片并计算各切片的签名值，以此建立签名值和案例文本的关联关系，形成案例库。当有待处理文本需要进行去重处理时，对待处理文本的特征词串进行切片并计算各切片的签名值，根据各切片的签名值确定该切片对应的案例文本，从而通过统计对应同一案例文本的签名值个数，并利用最大签名值个数计算待处理文本与相应案例文本的相似度，进而进行相似判断。本发明需要的计算量较小，而且可以保证较小的误判率。

技术领域

本申请涉及文本处理技术领域，特别涉及一种文本去重方法和装置。

背景技术

目前的文本去重方法主要有以下几种：文本哈希、余弦相似文本计算、simhash，下面分别进行介绍。

1）文本哈希方法：计算文本内容的哈希值（例如）Murmur哈希值，比较两个文本的哈希值是否相同确定是否是相同文本，哈希值一致即认为文本相同。

文本哈希方法能够快速的判断两个文本是否相似，但是判断条件过于严苛，文本内容必须完全相同，否则就可能会计算出不同的哈希值而导致。例如：“任其发展。”和“任其发展！”本是相同文本，然而却因为最后的标点符号不相同，就被误判为不同。

2）余弦相似文本计算方法：计算两个文本对应向量的夹角余弦值，根据余弦值确定夹角，夹角越小越相似。计算向量间的夹角余弦值的公式如下：

余弦相似文本计算方法的优点是计算方式比较简单，但是这种方法需要进行文本两两之间计算余弦值，计算量比较大，无法适应海量数据的使用场景。例如，现存在文本A，样本库B，其中存在样本数为10万，为了计算A是否与B中的文本存在相似的文本，A需要与B中的每个文本进行计算，共10万次计算，计算量非常大。

3）simhash算法：计算文本的simhash值，比较两个文本的simhash值之间的海明距离，海明距离小于3即认为相似。

simhash算法的优点是可以大大减少海量文本情况下的计算工作量，缺点是实现比较复杂，而且要计算海明距离，计算量也比较大。

可以看出，以上三种方法中，第一种方法的误判率较高，而后两种方法的计算量由过大，都不能兼顾误判率和计算量。

发明内容

有鉴于此，本发明的目的在于提供一种文本去重方法和装置，能够保证误判率较小，而且不需要过多的计算量。

为实现上述目的，本发明提供的技术方案为：

一种文本去重方法，包括：

针对每一案例文本，提取该案例文本中的特征词，按照预设规则对提取的特征词串进行切片并计算每个切片的签名值，建立该案例文本对应的各切片的签名值与该案例文本的关联关系；

提取待处理文本中的特征词，按照预设规则对提取的特征词串进行切片并计算每个切片的签名值，查找每个所述关联关系，确定待处理文本对应的各切片的签名值关联的案例文本，并对关联该案例文本的签名值个数进行累加；

确定签名值个数累加结果最大的案例文本，根据该签名值个数和待处理文本对应的切片总个数确定待处理文本与该案例文本的相似度，如果相似度大于第一预设值，则确定待处理文本和该案例文本相似，对待处理文本进行去重处理。

一种文本去重装置，包括：文本处理单元、关系建立单元、关系查找单元、去重单元；

所述文本处理单元，用于针对每一案例文本，提取该案例文本中的特征词，按照预设规则对提取的特征词串进行切片并计算每个切片的签名值；用于提取待处理文本中的特征词，按照预设规则对提取的特征词串进行切片并计算每个切片的签名值；

所述关系建立单元，用于建立每一案例文本对应的各切片的签名值与该案例文本的关联关系；