[发明专利]一种基于深度学习的语义相似度计算方法

说明书

发明公开了一种基于深度学习的语义相似度计算方法，涉及语义相似度计算领域；其包括步骤1：构建训练数据集，并预处理训练数据获取one‑hot稀疏向量；步骤2：构建包括N层BI‑LSTM网络、残差网络、相似度矩阵、CNN卷积神经网络、池化层和全连接层的语义相似度计算网络模型；步骤3：将one‑hot稀疏向量输入上述网络模型，利用训练数据集训练参数，完成有监督训练；步骤4：将待测文本输入已训练的上述网络模型，判定是否为相似文本后输出结果。本发明语义相似度计算网络模型包括多层BI‑LSTM网络、残差网络、CNN卷积神经网络、池化层和全连接层，同时使用BI‑LSTM网络和CNN卷积神经网络，BI‑LSTM网络中加入残差网络，克服了多层网络带来的梯度消失问题，增强了模型的特征提取能力。

技术领域

本发明涉及语义相似度计算领域，尤其是一种基于深度学习的语义相似度计算方法。

背景技术

语义相似度计算是自然语言处理领域的一项基本任务，随着人工智能时代的到来，越来越多的科学家和学者们将目光放在自然语言处理领域，而语义相似度计算任务因为其在文档复制检查、信息检索和机器翻译等领域都有十分广泛的应用，越来越多的研究人员投身于语义相似度计算的研究。近年来，因为深度学习技术的兴起，也使得语义相似度计算得到了突飞猛进的发展。比起传统方法，深度学习技术能提取深层语义，获得更加丰富的特征表达。

应用于语义相似度计算的深度学习模型包括CNN模型，BI-LSTM模型和MatchPyramid模型。CNN模型可以提取N-gram特征，即利用CNN卷积核的滑动窗口提取中心词和周围词的特征，符合人类自然语言的表达；BI-LSTM模型专门用于处理具有时序数据的模型，自然语言就是一个天然的时序数据，所以BI-LSTM模型可以很好提取语义特征；MatchPyramid模型是利用词向量点积的方法构造一个二维相似度矩阵，将此矩阵看作一个二维图像，进而使用CNN模型进行处理，利于提取特征。一方面，上述的模型的网络层数较浅，特征提取能力差；另一方面，CNN模型和BI-LSTM模型虽然都可以对文本进行语义特征的提取，但是两种模型提取的特征是不同的特征，单独使用其中一种模型，特征提取不够完善；MatchPyramid模型利用词向量进行相似度矩阵的构造，仅靠词向量对于文本语义的表达不够充分。因此，需要一种基于深度学习的语义相似度计算方法克服以上问题，实现完整提取特征，增强特征提取能力。

发明内容

本发明的目的在于：本发明提供了一种基于深度学习的语义相似度计算方法，解决现有模型特征提取不完善、网络层数浅导致相似度计算准确度低的问题。

本发明采用的技术方案如下：

一种基于深度学习的语义相似度计算方法，包括如下步骤：

步骤1：构建训练数据集，并预处理训练数据获取one-hot稀疏向量；

步骤2：构建包括N层BI-LSTM网络、残差网络、相似度矩阵、CNN卷积神经网络、池化层和全连接层的语义相似度计算网络模型；

步骤3：将one-hot稀疏向量输入上述语义相似度计算网络模型，利用训练数据集训练所述网络模型的参数，完成有监督训练；

步骤4：将待测文本转化为one-hot稀疏向量后，输入已训练的语义相似度计算网络模型，判定是否为相似文本后输出结果。

优选地，所述步骤1包括如下步骤：

步骤1.1：对构建的训练数据集的数据格式进行统一；

步骤1.2：删除训练数据集中缺失数据、无关数据的特殊符号和乱码；

步骤1.3：对步骤1.2中的训练数据集进行分词和构建词典后，根据词语在词典中的位置，将数据转化为one-hot稀疏向量。

优选地，所述步骤2包括如下步骤：