[发明专利]一种基于深度神经网络的文本一致性分析方法

摘要

本发明公开了一种基于深度神经网络的文本一致性分析方法。当一段文本输入之后，首先采用分布式的方法把句子中的每一个单词翻译成向量构成分布式句子矩阵，然后统计相邻句子中重复出现过的单词，通过扩大矩阵维度的方式加入相邻句子间的重复信息；其次，利用卷积神经网络学习句子分布式表示，提取句中重要的逻辑、语义、句法等特征构成句子向量；接着，计算相邻句子向量之间相似程度来加入上下文关联内容，最后不断地训练神经网络，输出文本一致性的概率。本方法的特点在于，不用进行复杂的人工特征提取操作，也不依赖外部资源，相比于现有的一致性分析技术，本发明提出的方法在准确率上有了很大的提升，具有较好的实用价值。

主权项

一种基于深度神经网络的文本一致性分析方法，其特征在于，包括如下步骤：S10：收集文本数据并进行变换构成文本数据集，通过所述文本数据集获取样本集，所述样本集包括训练集、验证集与测试集；S20：构建句子模型，以无人监督的方式从大规模语料库中学习单词的分布式表示组成句子矩阵，加入相邻句子间的重复信息，采用第一种神经网络将所述句子矩阵进一步转化为低维度的分布式句子向量；S30：通过计算相邻句子向量之间的相似程度加入句子之间的关联信息，构成完整样本向量，利用第二种神经网络计算所述完整样本向量局部一致性的概率大小；S40：在所述训练集上对S20和S30共同定义的深度学习模型进行训练，采用随机梯度下降法对两种神经网络的参数进行调整，直至在所述验证集上通过验证，保存网络参数,并在所述测试集上对已训练完成的深度学习模型进行测试；S50：选取所述文本数据集中的文本构造文本测试数据对，计算模型一致性分析的准确率，并根据得到的准确率对模型进行进一步优化，直至获得满意的分析结果。