[发明专利]一种基于信息指纹的相似信息识别方法

权利要求书

1.一种基于信息指纹的相似信息识别方法，其特征在于：所述的方法包括以下步骤：

对文档的文本进行中文分词；

统计词频，取出词频靠前的词，作为特征值；

根据提取出来的特征值计算出文档的信息指纹；

比对两篇文档的信息指纹，若比对结果大于阀值，则判断为相似文章。

2.根据权利要求1所述的基于信息指纹的相似信息识别方法，其特征在于，计算文档的信息指纹包括以下步骤：

对提取出来的特征值分别进行64位的polynomials哈希运算，得出64位的哈希值；

对64位的哈希值进行运算，如果这个哈希值的第i位是1，则该位等于特征的权重；如果哈希值的第i位是0.则该位等于特征权重的负数；

完成所有特征值的处理后，对所有特征值按列对应进行相加，得出一串64位的数字，最后将正数对应的位设为1，负数对应的位设为0，就得到了64位的01值数组。

3.根据权利要求2所述的基于信息指纹的相似信息识别方法，其特征在于，特征的权重数值上等于该词出现的次数。

4.根据权利要求1所述的基于信息指纹的相似信息识别方法，其特征在于，抽取作为特征值的词语的数量为15-25个。

5.根据权利要求1所述的基于信息指纹的相似信息识别方法，其特征在于，抽取作为特征值的词语的数量为20个。

6.根据权利要求1所述的基于信息指纹的相似信息识别方法，其特征在于，比对两篇文档的信息指纹时采用同或逻辑运算。

7.根据权利要求1所述的基于信息指纹的相似信息识别方法，其特征在于，比对两篇文档的信息指纹时采用异或逻辑运算。