[发明专利]一种基于同义词典的短文本相似度匹配方法及系统

说明书

本发明公开了一种基于同义词典的短文本相似度匹配方法及系统，其通过对待处理的短文本进行分词处理，并对分词结果进行词频统计；对于高频词利用词语语义相似度进行构建第一同义词典；对于低频词利用字符串相似度进行构建第二同义词典，并对所述第一同义词典和所述第二同义词典进行聚类处理，得到所述短文本的完整同义词典；或者，直接将字符串相似度高于预设的相似度阈值的分词结果存放到所述第一同义词典中的对应位置，得到更新的第一同义词典，即得到所述短文本的完整同义词典；最后利用带有所述欧氏距离或余弦相似度的完整同义词典计算两个短文本之间的语义相似度；算法准确性更高，适用范围更广。

技术领域

本发明涉及通信技术领域，特别是一种基于同义词典的短文本相似度匹配方法及其应用该方法的系统。

背景技术

在文本相似度的度量算法中，经常会用到word2vec训练网络。但是，对于出现频率很低的词语(如出现次数小于5次)，word2vec训练网络训练得到的低频词的词向量表示效果就会比较差，甚至是直接去除停用词和低频词，极大的降低了相似度算法的准确性。

发明内容

本发明为解决上述问题，提供了一种基于同义词典的短文本相似度匹配方法及系统，对高频词和低频词采用不同的算法，并将高频词和低频词重新融合为完整的同义词典来计算短文本的相似度，算法准确性更高。

为实现上述目的，本发明采用的技术方案为：

一种基于同义词典的短文本相似度匹配方法，其包括以下步骤：

a.对待处理的短文本进行分词处理，并对分词结果进行词频统计；

b.对于词频大于预设的词频阈值的分词结果，则利用词语语义相似度，对词语语义相似度大于预设的相似度阈值的分词结果进行构建第一同义词典；

c.对于词频小于或等于预设的词频阈值的分词结果，则利用字符串相似度，对字符串相似度高于预设的相似度阈值的分词结果进行构建第二同义词典，并对所述第一同义词典和所述第二同义词典进行聚类处理，得到所述短文本的完整同义词典；或者，直接将字符串相似度高于预设的相似度阈值的分词结果存放到所述第一同义词典中的对应位置，得到更新的第一同义词典，即得到所述短文本的完整同义词典；

d.计算所述完整同义词典中的所有词语与其同义词的欧氏距离或余弦相似度，并利用带有所述欧氏距离或余弦相似度的完整同义词典计算两个短文本之间的语义相似度。

优选的，所述的步骤a中，是指通过结巴分词工具对所述短文本进行分词处理，并去除停用词，得到分词结果；并利用Python工具对所述分词结果进行词频统计，得到每个分词结果对应的词频。

进一步的，所述的步骤b中，对于词频大于预设的词频阈值的分词结果，采用word2vec算法进行学习每个分词结果的词向量，并根据所述词向量进行计算各个分词结果之间的词语语义相似度，对词语语义相似度大于预设的相似度阈值的分词结果进行构建第一同义词典。

优选的，所述的步骤c中，对于词频小于或等于预设的词频阈值的分词结果，利用编辑距离进行计算各个分词结果之间的字符串相似度，并根据所述字符串相似度对所述分词结果进行聚类处理。

进一步的，所述的步骤c中，对于词频小于或等于预设的词频阈值的分词结果，所述聚类处理是以所述分词结果中的任一个为类中心，计算其他分词结果与所述类中心之间的编辑距离，进而得到其他分词结果与所述类中心之间的字符串相似度；以此类推进行遍历所述分词结果，并对字符串相似度高于预设的相似度阈值的分词结果进行构建第二同义词典。