[发明专利]一种基于改进的simhash文本对比方法

权利要求书

1.一种基于改进的simhash文本对比方法，其特征在于：所述方法步骤如下：

S1、对文章进行预处理；其中预处理包括：分词、去停用词，分别使用分词包、停用词库进行分词和去停用词；

S2、Hash：用md5的方法计算每一个分词的哈希值，计算出的值转换成二进制的数值；

S3、权重：对分词的每个词的结果利用TF_IDF算法计算其权重，计算每个词的权重的步骤：

①计算被查文章分词后每个词的词频：

TF＝n₁/n₂

其中，TF表示某词的词频，n₁表示对应词在此文章中出现的次数，n₂表示此文章的总词数；

②计算逆向文档频率IDF：

其中，p(m_k)表示词m_k在当前类别中的频率，p(m_k)'表示词m_k在除了当前类别的其他类别中的频率；

③词的权重：

TF_IDF＝TF*IDF

其中，TF_IDF表示词权重，词频与逆向文档频率对应同一个词；

S4、权重调整：找出被查文章标题出现的词，对于每一个出现的词权重都在步骤S3计算出的权重基础上加1，对文章的正文分词后，对词的词性进行标注，而且词性的权重进行设置，设置规则为在步骤S3计算出的权重基础上名词加5，动词加4；

S5、加权：对步骤S2中每一个所分的词转化成二进制的哈希值，每一位进行判断，如果该位为1，则用该位的正权重；如果为0，则用该位的负权重值，直到每一位二进制哈希值判断完成时为止，最后每一个词形成一串数字序列；

S6、累加：将被查文章分词后的每一词，计算的加权结果的每一位对应累加起来，最终形成此该文章的累加结果；

S7、降维：将该文章累加的结果形成的数字序列的每一位进行降维，如果被判断位大于0，则该位置成1；否则，则该位置成0；直到每一位判断完为止，最后则形成此文章的局部敏感哈希值；

S8、查重：将对比的文章按照以上步骤计算其局部敏感哈希值，再计算与被查文章两者之间的汉明距离来判定两者的相似性。

2.根据权利要求1所述的基于改进的simhash文本对比方法，其特征在于：所述步骤S6中，进行累加时，累加结果不进位。

3.根据权利要求1所述的基于改进的simhash文本对比方法，其特征在于：所述步骤S8中，汉明距离小于33，则判定两者相似。