[发明专利]网络文章相似度检测方法和装置、服务器及存储介质

权利要求书

1.一种网络文章相似度检测方法，其特征在于，所述网络文章相似度检测方法包括以下步骤：

对两篇待判定文章的文本进行分词，得到两篇待判定文章的特征词条；

计算特征词条的哈希值；

对应两篇待判定文章分别建立数列，根据两篇待判定文章中特征词条的哈希值和预设算法改变数列中数字的排列分布；

根据两篇待判定文章的数列的相似度比较待判定文章之间的相似度，相似度达到预设阈值则判断为相似文章。

2.如权利要求1所述的网络文章相似度检测方法，其特征在于，对两篇待判定文章的文本进行分词，得到两篇待判定文章的特征词条的步骤，包括：

对两篇待判定文章的文本进行分词；

判断分词后得到的词条是否为高频词；

剔除高频词后将余下的词条归为特征词条。

3.如权利要求2所述的网络文章相似度检测方法，其特征在于，所述高频词为在词语频率表中词频数值高于预设阈值的词条。

4.如权利要求1所述的网络文章相似度检测方法，其特征在于，计算特征词条的哈希值的步骤，包括：

建立汉字集合；

建立2的n次方个数据组，其中n大于5，并将所述汉字集合中的汉字平均分配到各个数据组中；

对各个数据组进行编号；

判断特征词条为单个汉字或是词组：

若特征词条为单个汉字，特征词条的哈希值为所在数据组的编号数值；

若特征词条为词组，记特征词条的首位汉字哈希值为A，特征词条的末位汉字哈希值为B，其中，A和B是由n位bit组成的数值，取A的前a位bit值和B的后(n-a)位bit值合成特征词条的哈希值，其中，a为整数且n＞a＞0。

5.如权利要求4所述的网络文章相似度检测方法，其特征在于，所述n的值为9，所述数据组的数量为512个。

6.如权利要求1所述的网络文章相似度检测方法，其特征在于，对应两篇待判定文章分别建立数列，根据两篇待判定文章中特征词条的哈希值和预设算法改变数列中数字的排列分布的步骤，包括：

对应两篇待判定文章分别建立长度为2的n次方个bit的数列，其中，每位bit值均为0；

取两篇待判定文章中前m个词语的哈希值记为(h1,h2,h3,...,hm)；

将数列中(h1,h2,h3,...,hm)位bit值改为1，得到两篇待判定文章的数列。

7.如权利要求1所述的网络文章相似度检测方法，其特征在于，根据两篇待判定文章的数列的相似度比较待判定文章之间的相似度，相似度达到预设阈值则判断为相似文章的步骤，包括：

对比两篇待判定文章的数列S1和S2，记S1和S2均为1的bit位的个数为x，S1和S2中至少存在一个数值为1的bit位的个数为y；

计算两篇待判定文章的相似度为x/y；

判断x/y是否大于预设阈值：若是，则两篇文章是相似文章；若否，则两篇文章不是相似文章。

8.一种网络文章相似度检测装置，其特征在于，所述网络文章相似度检测装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的判定网络文章相似度的程序，所述判定网络文章相似度的程序被所述处理器执行时实现如权利要求1至7中任一项所述的网络文章相似度检测方法的步骤。

9.一种服务器，其特征在于，所述服务器包括如权利要求8所述的网络文章相似度检测装置。

10.一种存储介质，其特征在于，所述存储介质上存储有判定网络文章相似度的程序，所述判定网络文章相似度的程序被处理器执行时实现如权利要求1至7中任一项所述的网络文章相似度检测方法的步骤。