[发明专利]文本语义相似度计算的方法及装置

权利要求书

1.一种文本语义相似度计算的方法，其特征在于，所述方法包括：

将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋，所述第一文本和第二文本为进行相似度计算的文本，所述第一词袋中的词为第一文本进行分词得到的词，所述第二词袋中的词为第二文本进行分词得到的词；

根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，所述第一向量和所述第二向量的维度与所述维度词袋中的词一一对应；

根据向量相似度计算算法计算所述第一向量和所述第二向量的相似度值，得到所述第一文本和所述第二文本的相似度结果；

其中，所述根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，包括：

将维度词袋、第一词袋、第二词袋中的词应用基于语义的词转换向量工具转换为对应的词向量；

根据基于语义的词转换向量工具计算维度词袋中每个词分别与第一词袋以及第二词袋中所有的词的相似度值；

分别将维度词袋中每个词与所述第一词袋中所有词的相似度值的最大值确定为所述第一向量中对应维度的维度值，得到第一向量；

分别将维度词袋中每个词与所述第二词袋中所有词的相似度值的最大值确定为所述第二向量中对应维度的维度值，得到第二向量。

2.根据权利要求1中所述的方法，其特征在于，在将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋之前，所述方法还包括：

计算所述第一词袋中包含的词的数量与所述第二词袋中包含的词的数量的比值，所述第一词袋中包含的词的数量大于等于所述第二词袋中包含的词的数量；

比较所述比值与预设比值的大小；

若所述比值超过预设比值，则对所述第一词袋进行词截取，以使所述比值减小到预设比值内；

若所述比值未超过预设比值，则执行将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋。

3.根据权利要求1所述的方法，其特征在于，在将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋之前，所述方法还包括：

判断所述第一词袋与所述第二词袋中包含的词的数量是否大于预设阈值；

若所述第一词袋和/或所述第二词袋中包含的词的数量大于预设阈值，则对所述第一词袋和/或所述第二词袋进行词截取，以使所述第一词袋和/或所述第二词袋中词的数量减少到设预设阈值内。

4.根据权利要求2或3中所述的方法，其特征在于，对所述第一词袋和/或所述第二词袋进行词截取包括：

计算所述第一词袋和/或所述第二词袋中每个词的重要程度TFIDF值；

按照TFIDF值的大小顺序对所述第一词袋和/或所述第二词袋中的词进行排序；

按照排序后的结果顺序提取预设数量的词。

5.一种文本语义相似度计算的装置，其特征在于，所述装置包括：

合并单元，用于将第一文本对应的第一词袋与第二文本对应的第二词袋中的词合并得到一个维度词袋，所述第一文本和第二文本为进行相似度计算的文本，所述第一词袋中的词为第一文本进行分词得到的词，所述第二词袋中的词为第二文本进行分词得到的词；

向量化单元，用于根据基于语义的词转换向量工具对所述第一词袋以及所述第二词袋进行向量化计算，得到第一向量和第二向量，所述第一向量和所述第二向量的维度与所述维度词袋中的词一一对应；

相似度计算单元，用于根据向量相似度计算算法计算所述第一向量和所述第二向量的相似度值，得到所述第一文本和所述第二文本的相似度结果；

其中，所述向量化单元包括：

第一计算模块，用于将维度词袋、第一词袋、第二词袋中的词应用基于语义的词转换向量工具转换为对应的词向量；根据基于语义的词转换向量工具计算维度词袋中每个词分别与第一词袋以及第二词袋中所有的词的相似度值；

第一确定模块，用于分别将维度词袋中每个词与所述第一词袋中所有词的相似度值的最大值确定为所述第一向量中对应维度的维度值，得到第一向量；

第二确定模块，用于分别将维度词袋中每个词与所述第二词袋中所有词的相似度值的最大值确定为所述第二向量中对应维度的维度值，得到第二向量。