[发明专利]一种基于余弦定理的信息查重方法、系统及终端机

权利要求书

1.一种基于余弦定理的信息查重方法，其特征在于，方法包括：

步骤一、采集文本信息；

步骤二、对文本信息，进行语料预处理；

其中，语料预处理包括分词处理和去词处理；

步骤三、将预处理之后的文本信息转换为数值型数据，淡化出现频率超阈值的词语，并突出显示符合预设条件的词语，计算符合预设条件词语在文本信息中出现的频率；

步骤四、对符合预设条件词语的词频进行排序，形成最终的功能词汇数据集；

步骤五、基于功能词汇数据集，计算文本信息之间的相似度。

2.根据权利要求1所述的基于余弦定理的信息查重方法，其特征在于，

步骤一中，通过OCR文字识别技术从数据库中，对文本信息进行采集，将采集到的文本信息储存至文本库。

3.根据权利要求1所述的基于余弦定理的信息查重方法，其特征在于，

分词处理方式包括步骤如下：

文本信息具有n个词语，提取词语中的字符；

将提取的字符与词库中的字符进行匹配，若匹配成功，对字符进行切分；

若匹配不成功，则删除文本信息中任一个或多个词语，再提取词语中的字符；将提取的所述字符与词库中的字符进行匹配，若匹配成功，对字符进行切分；

若仍匹配不成功，循环上述步骤，直到文本信息中的词语全部进行匹配。

4.根据权利要求1所述的基于余弦定理的信息查重方法，其特征在于，

使用python的OS库实现去词处理；

现去词处理采用批处理去重、去掉停用词以及去掉非中文词；

去掉非中文词是通过正则表达式判断每一个词语是否符合预设的汉字字符数。

5.根据权利要求1所述的基于余弦定理的信息查重方法，其特征在于，

步骤三中使用逆文件频率对词频率权重进行逆向标识，配置预处理之后的文本信息中出现频率超阈值词语的第一权重值，以及配置出现频率低于阈值词语的第二权重值；第二权重值大于第一权重值。

6.根据权利要求5所述的基于余弦定理的信息查重方法，其特征在于，

设文本信息的词语数量为N，单个词语的IDF值的计算表达式用公式所示：

通过IDF值的计算，通过TF-IDF的计算公式TF-IDF＝TF*IDF进行计算，对文本信息向量化后的每个词语分配一个权重。

7.根据权利要求6所述的基于余弦定理的信息查重方法，其特征在于，

步骤四中，基于词语权重值，由高到低的顺序进行排序，对排序到在后预设位的词语进行删除，形成最终的功能词汇数据集。

8.根据权利要求7所述的基于余弦定理的信息查重方法，其特征在于，

步骤五中采用余弦相似度计算文本信息相似度，

余弦函数在三角形中的计算公式为：

向量a用坐标x₁,y₁表示，向量b用坐标x₂,y₂表示

向量a和向量b在直角坐标中的长度为向量a和向量b之间的距离向量c表示，那么向量c在直角坐标系中的长度为将a、b、c带入三角函数的公式中得到如下的公式

式中：θ是向量空间中任意两个向量夹角，余弦相似度的计算结果为0～1的实数，当余弦值越接近1，则夹角越接近0°，表明两个向量越相似。