[发明专利]一种基于信息指纹的相似信息识别方法

说明书

技术领域

本发明涉及一种基于信息指纹的相似信息识别方法。

背景技术

现有的重复信息识别方法主要是对信息进行md5编码，然后比对两条信息的md5值，如果完全一样，则这两条信息是一样的，值不同则不一样。现有相似信息识别方法主要是，对两条信息按字符进行切分，按顺序对字符进行比对，根据位置完全一致的字符的百分比，得出两条信息之间的相似度。

现有判断重复信息技术的主要缺点是只能判断字符串完全一样的信息，如果两个相同的信息，一个加了个空格或其它字符，程序就会判断为不是重复信息，精确度不高。现有相似信息识别方法主要缺点是每次比较都要将切分的字符串进行对比，计算量大，在大数据的环境下性能很低。

发明内容

本发明的目的是提供一种精确度高、适用于大数据环境下的相似信息识别方法。

本发明所述的基于信息指纹的相似信息识别方法包括以下步骤：

对文档的文本进行中文分词；

统计词频，取出词频靠前的词，作为特征值；

根据提取出来的特征值计算出文档的信息指纹；

比对两篇文档的信息指纹，若比对结果大于阀值，则判断为相似文章。

本发明所述的基于信息指纹的相似信息识别方法，采用提取词频靠前的词语作为特征值来计算信息指纹，从而去判断文档是否相似的方法，相比现有的重复信息识别方法，若在其中一篇文档中加入少量的字符，对判断的结果也不会产生影响，可提高判断的准确度。另外，由于文档的信息指纹具有唯一性，在多篇文档判断相似性时，只需相互间比对信息指纹即可，可改善现有相似信息识别方法计算量大，在大数据环境下性能低效的缺点。

附图说明

图1为本发明基于信息指纹的相似信息识别方法流程图。

图2为本发明文档信息指纹的计算步骤流程图。

具体实施方式

如图1所示的基于信息指纹的相似信息识别方法，包括以下步骤：

对文档的文本进行中文分词；

统计词频，取出词频靠前的词，作为特征值；

根据提取出来的特征值计算出文档的信息指纹；

比对两篇文档的信息指纹，若比对结果大于阀值，则判断为相似文章。

其中抽取作为特征值的词语的数量为15-25时，可基本满足识别方法的性能要求，通过大量的抽样试验计算发现，取词为20个时为最优选择。

计算文档的信息指纹的步骤如图2所示，包括：

对提取出来的特征值分别进行64位的polynomials哈希运算，得出64位

哈希值；

对64位的哈希值进行运算，如果这个哈希值的第i位是1，则该位等于特

的权重，如果哈希值的第i位是0.则该位等于特征权重的负数；

该特征的权重数值上等于该词出现的次数；

完成所有特征值的处理后，对所有特征值按列对应进行相加，得出一串64位的数字，最后将正数对应的位设为1，负数对应的位设为0，就得到了64位的01值数组，即该条信息的信息指纹。

选取64位哈希运算的原因是当使用64位时，可产生的组合为2的64次方，已经满足本发明对重复率的要求，选32位的话重复率还是会比较高，128位时位数太长，会影响计算性能，所以折中选择64位的哈希运算。

在比对两篇文档的信息指纹时采用同或运算或者异或运算，根据运算结果0或1出现的次数，可快速判断两文档的相似度。

在比对两篇文档的信息指纹采用异或运算时，统计出结果中1出现的个数，如果是零次，这表示这两条信息完全一样。1出现的次数越多，表示两条信息越不同。另外，本方法在进行判断时，选取的阀值为3。若1出现的次数少于等于3时，可判断为相似信息。

在比对两篇文档的信息指纹采用同或运算时，统计出结果中0出现的个数，如果是零次，这表示这两条信息完全一样。0出现的次数越多，表示两条信息越不同。判断时，选取的阀值为3。若0出现的次数少于等于3时，可判断为相似信息。