[发明专利]一种通过深度卷积神经网络进行短文本间相似度计算的方法

摘要

本发明公开了一种通过深度卷积神经网络进行短文本间相似度计算的方法，目的在于，利用短文本中出现的每一个词语计算短文本间的相似度，使相似度的值计算的更加准确，所采用的技术方案为：1)把若干短文本表示成若干个矩阵，用相应的词向量依次替换文本中的每个单词，得到一个有序的向量序列，视为一个矩阵；2)对两个表示目标短文本的矩阵生成其相似矩阵；通过对词向量之间的余弦相似度进行排列，得到其相似矩阵；3)把相似矩阵的行和列平铺成相同维度；4)把相似矩阵降维成一个值作为相似度；对于所有同维度的相似矩阵，通过深度卷积神经网络对相似矩阵进行训练降维，再通过多层感知机计算相似程度，来代表相似度的值。

主权项

1.一种通过深度卷积神经网络进行短文本间相似度计算的方法，其特征在于，包括以下步骤：/n1)将若干个短文本表示成若干个矩阵：爬取Wikipedia上全部知识领域相关页面中出现的词语作为词表，对词表进行训练，每个词语得到一个词向量，用相应的词向量依次替换短文本中的每个单词，得到一个有序的向量序列，视为一个矩阵；/n2)对若干个短文本进行两两组合，并对每组的两个短文本的矩阵生成其相似矩阵：对于每组的两个短文本，取其相对应的两个矩阵，依次计算其词向量之间的余弦相似度，对余弦相似度进行排列，得到每组两个短文本的相似矩阵；/n3)将相似矩阵的行和列平铺成相同维度：统计已有所有相似矩阵的行数和列数，分别找到最大的行数和最多的列数，以最多的行数和列数作为基准，平铺所有的相似矩阵，使其具有相同的行数和相同的列数，称为同维度的相似矩阵；/n4)将相似矩阵降维成一个值作为相似度：对于所有同维度的相似矩阵，通过深度卷积神经网络对相似矩阵进行训练降维，再通过多层感知机计算相似程度，来代表相似度的值，完成短文本间相似度计算；具体过程如下：/n4.1)利用深度卷积神经网络对所有同维度的相似矩阵进行训练，依次经过两个卷积层，两个池化层，以及一个全连接层之后，每个相似矩阵被降维成一个向量；/n4.2)用多层感知机处理经过深度卷积神经网络降维得到的向量，最后每个向量降维得到两个值，分别是相似程度和不相似程度，相似程度的值即代表了短文本之间相似度的值。/n