[发明专利]基于语义分析与多重Simhash的文本近似重复检测方法

权利要求书

1.一种基于语义分析与多重Simhash的文本近似重复检测方法，其特征在于，该方法包括以下步骤：

(1)对中文文章进行预处理：将原始文本进行分词、去除停用词处理，余下的词称为文章的实义词；

(2)选取关键词：以tfidf、词性、词长、词首次出现的位置计算每个实义词的权重，选取权重最高的N₁个词作为关键词；N₁的取值范围为[5，15]；

词的权重计算方式为：

其中w_i表示文档中第i个词，tfidf_i表示这个词的tfidf，len(w_i)表示文档中第i个词的长度，len(d)表示文档的长度，pos_i表示词首次出现的位置，pro_i表示词性的权重指标，pro_i的取值范围为[0，1]；λ₁～λ₄为不同指标的权重，且满足λ₁＞λ₂＞λ₄＞λ₃；

(3)选取关键词每次出现位置前后各N₂个词作为文本特征，若关键词出现位置前或后不足N₂个词，则取到文首或文尾为止；N₂的取值范围为[6，14]；

(4)预先统计好常用的同义词，并对词进行编码，同一个含义的词编码相同，不同含义的词编码不同，但编码长度相同；找到特征中所有有同义词的词，并将其替换为对应的编码；

(5)根据文章的全部实义词计算Simhash记为simhash_1，根据文本特征计算Simhash记为simhash_2；

(6)计算两篇文章的simhash_1的海明距离，记为D1，计算两篇文章的simhash_2的海明距离记为D2；若D1≤k₁，或k₁＜D1≤k₂且D2≤k₁，则认为两篇文章近似重复；其中k₁的取值范围为[1，3]，k₂的取值范围为[5，7]。

2.根据权利要求1所述的一种基于语义分析与多重Simhash的文本近似重复检测方法，其特征在于，所述步骤(2)中，对于不同词性的词对应的pro_i满足：

a.若w_i为名词，则pro_i＞0.5

b.若w_i为名词，w_j为形容词，则pro_i＞＝1.5pro_j

c.若w_i为名词，w_j为动词，则pro_i＞＝2pro_j

d.若w_i为形容词，w_j为动词，则pro_i＞pro_j

e.若w_i为动词，w_j为动词、名词、形容词以外的其它词性的词，则pro_i＞2pro_j。