[发明专利]文本语义相似度的确定方法及装置

权利要求书

1.一种文本语义相似度的确定方法，其特征在于，所述方法包括：

获取第一文本以及第二文本，所述第一文本和所述第二文本是需要进行语义相似度计算的任意两个文本；

根据预设标签主题Label LDA模型将所述第一文本以及所述第二文本分别转换为第一主题标签向量和第二主题标签向量，所述第一主题标签向量和所述第二主题标签向量中每个维度对应一个预设主题标签，每个维度对应的维度值表示每个预设主题标签的权重值，所述预设主题标签为表示文本语义的单个主题词；

根据向量相似度算法对所述第一主题标签向量和所述第二主题标签向量进行相似度计算，得到所述第一文本与所述第二文本之间的语义相似度值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练样本，所述训练样本包含大量的不同类型的文本数据；

根据预设主题标签对所述训练样本进行标注，训练样本中的每个文本至少对应一个预设主题标签；

根据标签主题Label LDA算法对所述训练样本以及所述训练样本对应的预设主题标签进行训练，得到所述预设标签主题Label LDA模型。

3.根据权利要求1或2所述的方法，其特征在于，所述根据向量相似度算法对所述第一主题标签向量和所述第二主题标签向量进行相似度计算，包括：

分别对所述第一主题标签向量和所述第二主题标签向量进行截取，保留所述第一主题标签向量和所述第二主题标签向量中大于截取阈值的维度值以及大于所述截取阈值的维度值对应的维度，所述截取阈值为预设主题标签数量的倒数；

对截取后的第一主题标签向量和截取后的第二主题标签向量分别进行归一化处理，得到第一有效主题标签向量和第二有效主题标签向量；

根据最大标签相似度算法计算所述第一有效主题标签向量和所述第二有效主题标签向量之间的相似度值。

4.根据权利要求3所述的方法，其特征在于，所述根据最大标签相似度算法计算第一有效主题标签向量和第二有效主题标签向量之间的相似度值，包括：

根据余弦相似度算法计算所述第一有效主题标签向量对应的每一个预设主题标签分别与所述第二有效主题标签向量对应的每一个预设主题标签之间的主题标签相似度值；

按照下述公式，计算所述第一有效主题标签向量和所述第二有效主题标签向量之间的相似度值：

其中，SIM为所述第一有效主题标签向量和所述第二有效主题标签向量之间的相似度值，K_i为所述第一有效主题标签向量的维度数，K_j为第二有效主题标签向量的维度数，NT_i为第一有效主题标签向量中第i个维度对应的维度值,NT_j为第二有效主题标签向量中第j个维度对应的维度值；P(L1_i,L2_j)为第一有效主题标签向量中第i个维度值对应的预设主题标签与第二有效主题标签向量中第j个维度值对应的预设主题标签之间的主题标签相似度值。

5.根据权利要求4所述的方法，其特征在于，所述获取第一文本以及第二文本，包括：

从互联网中爬取所述第一文本以及所述第二文本。

6.一种文本语义相似度的确定装置，其特征在于，所述装置包括：

文本获取单元，用于获取第一文本以及第二文本，所述第一文本和所述第二文本是需要进行语义相似度计算的任意两个文本；

转换单元，用于根据预设标签主题Label LDA模型将所述第一文本以及所述第二文本分别转换为第一主题标签向量和第二主题标签向量，所述第一主题标签向量和所述第二主题标签向量中每个维度对应一个预设主题标签，每个维度对应的维度值表示每个预设主题标签的权重值，所述预设主题标签为表示文本语义的单个主题词；

计算单元，用于根据向量相似度算法对所述第一主题标签向量和所述第二主题标签向量进行相似度计算，得到所述第一文本与所述第二文本之间的语义相似度值。