[发明专利]一种确定语义相似度方法及装置

说明书

本申请提供一种语义相似度确定方法，包括获取第一目标文本的向量和第二目标文本的向量；分别将所述获取的第一目标文本的向量和第二目标文本的向量输入循环神经网络进行编码，得到第一目标文本的表示特征和第二目标文本的表示特征；根据所获取的第一目标文本的表示特征和第二目标文本的表示特征，获取第一目标文相似度权重矩阵和第二目标文本的相似度权重矩阵；根据所获取第一目标文相似度权重矩阵和第二目标文本的相似度权重矩阵，确定出第一目标文本和第二目标文本的语义相似度。本申请能够获得多维度的语义特征，提高语义分析的精确度。

技术领域

本文涉及计算机技术，尤指一种确定语义相似度方法及装置。

背景技术

随着互联网和人工智能的迅速发展，各种交互式人机对话系统都涌现了出来，与此同时，用户的搜索量也大大增加。对于以上应用而言，如何准确的从知识库或者语料库中检索到符合用户意图的句子则非常关键，直接影响用户的体验。针对这一问题，本专利提出了一种基于神经网络和注意力机制的语义相似度计算方法，来获取同一含义但不同表达方式的句子之间的语义相似度，为人机对话和搜索引擎的相关应用场景提供算法支撑。

现有主要方法有其他神经网络模型和基于预训练的模型，其他神经网络模型如matchPyramid,ESIM等，虽然也是基于神经网络的模型，但是仍有不足，如matchPyramid，该模型将文本数据比作图像来看，采用卷积等操作进行处理，但毕竟两者之间有所差别，并不能提出足够的特征；同时ESIM类模型虽然也采用了双向LSTM网络进行编码，但是只计算了简单的注意力权重，并不能表示全面的语义特征。而且以上模型均为考虑句子的位置信息，特征提取不足。

基于预训练的模型，一般而言匹配的精确度比较高，但是由于模型参数太多导致一次前向计算的时间较长，这并不符合实际应用的需求。

发明内容

本申请提供了一种确定语义相似度方法及装置，能够达到获得多维度的语义特征，提高语义分析的精确度的目的。

本申请提供了一种语义相似度确定方法，包括：获取第一目标文本的向量和第二目标文本的向量；分别将所述获取的第一目标文本的向量和第二目标文本的向量输入循环神经网络进行编码，得到第一目标文本的表示特征和第二目标文本的表示特征；根据所获取的第一目标文本的表示特征和第二目标文本的表示特征，获取第一目标文本相似度权重矩阵和第二目标文本的相似度权重矩阵；在所述第一目标文相似度权重矩阵中，每一行代表第一目标文本中对应的文本单元与第二目标文本所有文本单元的权重；在第二目标文本的相似度权重矩阵中，每一行代表第二目标文本中对应的文本单元与第一目标文本所有文本单元的权重；根据所获取第一目标文相似度权重矩阵和第二目标文本的相似度权重矩阵，确定出第一目标文本和第二目标文本的语义相似度。

在一个示例性实施例中，上述获取第一目标文本的向量和第二目标文本的向量，包括：采用词嵌入分别得到第一目标文本的文本向量和第二目标文本的文本向量；采用位置嵌入分别得到第一目标文本的位置向量和第二目标文本位置向量；将所述第一目标文本的文本向量和位置向量进行合并得到所述第一目标文本的向量；将所述第二目标文本的文本向量和位置向量进行合并得到所述第二目标文本的向量。

在一个示例性实施例中，上述采用词嵌入分别得到第一目标文本的文本向量和第二目标文本向量，包括：将所述第一目标文本的长度和第二目标文本的长度均调整为预定长度；分别对第一目标文本和第二目标文本中的文本单元进行编码映射，分别获取第一目标文本的文本单元的索引和第二目标文本的文本单元的索引；根据所述预定长度和所述第一目标文本中文本单元的索引得到第一目标文本的文本向量；根据所述预定长度和所述第二目标文本中文本单元的索引得到第二目标文本的文本向量。