[发明专利]文本语义相似度计算的方法及装置

说明书

本发明公开了一种文本语义相似度计算的方法及装置，涉及自然语言处理技术领域，解决了现有文本相似度计算方法准确性较低的问题。本发明的方法包括：将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋；根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，所述第一向量和所述第二向量的维度与所述维度词袋中的词一一对应；根据向量相似度计算算法计算所述第一向量和所述第二向量的相似度值，得到所述第一文本和所述第二文本的相似度结果。本发明应用于文本相似度计算的过程中。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本语义相似度计算的方法及装置。

背景技术

在自然语言处理过程中，计算文本间相似度是文本处理的基础运算，利用文本间相似度，或者反方向计算出文本间距离，可以完成类似于文本查重，热点抽取，兴趣发现等功能。此外，利用文本间相似度作为前置运算，后续可以完成针对于大量文本进行聚类或者分类等复杂计算。而对于这种复杂运算，作为前置运算的文本相似度的精度直接影响着最终运算的结果。

文本作为一种非结构化数据，在计算处理时通常被理解为无限维度的对象，所以在计算文本间相似度之前，需要进行结构化的降维处理。对于文本降维，目前常用的降维方式有根据词频统计进行降维，根据词的重要程度值(Term Frequency–Inverse DocumentFrequency，TFIDF)值进行降维。但是，对于词频统计和TFIDF值等方式进行文本降维时，这种运算是单纯的基于词的出现概率来进行的，即只能在相同词的维度上进行相似度的计算，即使是同义的不同词维度也无法进行相似度的计算，而对于两篇文本中词维度不同的情况下，需要使用两篇文本中相同词的维度进行相似度计算，而仅使用相同词的维度很可能无法完整地反映文本的语义特征，因此最终计算得到的相似度结果通常不能较准确的反应文本间的语义相似度。

发明内容

鉴于上述问题，本发明提供一种文本语义相似度计算的方法及装置，用以解决现有的文本语义相似度计算方法准确性较低的问题。

为解决上述技术问题，第一方面，本发明提供了一种文本语义相似度计算的方法，所述方法包括：

将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋，所述第一文本和第二文本为进行相似度计算的文本，所述第一词袋中的词为第一文本进行分词得到的词，所述第二词袋中的词为第二文本进行分词得到的词；

根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，所述第一向量和所述第二向量的维度与所述维度词袋中的词一一对应；

根据向量相似度计算算法计算所述第一向量和所述第二向量的相似度值，得到所述第一文本和所述第二文本的相似度结果。

第二方面，本发明提供了一种文本语义相似度计算的装置，所述装置包括：

合并单元，用于将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋，所述第一文本和第二文本为进行相似度计算的文本，所述第一词袋中的词为第一文本进行分词得到的词，所述第二词袋中的词为第二文本进行分词得到的词；

向量化单元，用于根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，所述第一向量和所述第二向量的维度与所述维度词袋中的词一一对应；

相似度计算单元，用于根据向量相似度计算算法计算所述第一向量和所述第二向量的相似度值，得到所述第一文本和所述第二文本的相似度结果。