[发明专利]一种基于深度学习的语义相似度计算方法

权利要求书

1.一种基于深度学习的语义相似度计算方法，其特征在于：包括如下步骤：

步骤1：构建训练数据集，并预处理训练数据获取one-hot稀疏向量；

步骤2：构建包括N层BI-LSTM网络、残差网络、相似度矩阵、CNN卷积神经网络、池化层和全连接层的语义相似度计算网络模型；

步骤3：将one-hot稀疏向量输入上述语义相似度计算网络模型，利用训练数据集训练所述网络模型的参数，完成有监督训练；

步骤4：将待测文本转化为one-hot稀疏向量后，输入已训练的语义相似度计算网络模型，判定是否为相似文本后输出结果；

具体的，所述步骤2包括如下步骤：

步骤2.1：对两个文本输入分别建立Embedding层即词向量嵌入层，将one-hot稀疏向量转化为低维度词向量X_E，如以下公式所示：

X_E＝X_O×W

其中，X_O为one-hot稀疏向量，维度为L×D_L，L为句子长度，D_L为词典长度，W为可训练的权重，维度为D_L×D，D为词向量嵌入的维度；

步骤2.2：基于低维度词向量构建深度特征提取网络：构建两个N层BI-LSTM网络结构，在每一个BI-LSTM网络中添加一个残差网络；

步骤2.3：构建相似度矩阵：对两个N层BI-LSTM网络的输出做点积操作，构建相似度矩阵；

步骤2.4：构建特征提取网络：在相似度矩阵后依次连接CNN卷积神经网络、最大池化层和全连接神经网络1；

步骤2.5：构建输出网络：基于步骤2.4的网络依次连接一个全连接神经网络2和softmax层；

所述步骤3包括如下步骤：

步骤3.1：初始化步骤2中所述深度学习语义相似度计算网络的所有参数；

步骤3.2：将训练集数据输入到深度学习语义相似度计算网络中获得输出；

步骤3.3：根据训练集标签和网络输出计算交叉熵损失函数值；

步骤3.4：将损失函数值进行反向传播更新深度学习语义相似度计算网络参数；

步骤3.5：反复迭代3.2至3.4，直至深度学习语义相似度计算网络收敛，完成有监督训练获取深度学习语义相似度计算模型。

2.根据权利要求1所述的一种基于深度学习的语义相似度计算方法，其特征在于：所述步骤1包括如下步骤：

步骤1.1：对构建的训练数据集的数据格式进行统一；

步骤1.2：删除训练数据集中缺失数据、无关数据的特殊符号和乱码；

步骤1.3：对步骤1.2中的训练数据集进行分词和构建词典后，根据词语在词典中的位置，将数据转化为one-hot稀疏向量。

3.根据权利要求1所述的一种基于深度学习的语义相似度计算方法，其特征在于：所述步骤4包括如下步骤：

步骤4.1：将待测文本中的两个文本转化成one-hot稀疏向量；

步骤4.2：加载深度学习语义相似度计算模型，将one-hot稀疏向量输入深度学习语义相似度计算模型获得二分类概率输出，取概率大值对应的类别作为预测结果。

4.根据权利要求1所述的一种基于深度学习的语义相似度计算方法，其特征在于：所述N为等于或者大于3的正整数。