[发明专利]神经网络训练方法、文本相似度检测方法及对话系统

说明书

本发明公开一种神经网络训练方法、文本相似度检测方法及对话系统。神经网络训练方法包括步骤：S1:对三个句子S1、S2、S3进行标注；S2:将标注好的三条句子中的二条输入神经网络，分别得到句子特征SF1、SF2、SF3；S3:计算SF1和SF2的余弦相似度COS(1,2)；S4:计算正负样本的损失函数J；S5:设置损失函数L，对正负样本的间距和区分度进行增强；S6:计算最终损失函数T，对神经网络进行训练。本发明采取的技术方案使得训练得到的神经网络系统与真实的应用结果更接近，从而大大提供了准确率。

技术领域

本发明涉及信息检索技术领域，尤其涉及一种神经网络训练方法、文本相似度检测方法及对话系统。

背景技术

自然语言处理(Nature Language processing,NLP)是计算机科学以及人工智能的一个重要研究方向。主要研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，是一门集成语言学、计算机科学、数学于一体的学科。

问答(Question Answering)是自然语言处理(Natural Language Processing)的一个重要研究领域，可以针对人类以自然语言形式提出的问题自动地给出答案。

目前的问答系统已经得到了广泛的应用，比如在一些日常搜索、智能客服、聊天机器人等得到了广泛的应用，早已普及我们每个人的生活。例如，当你清晨起床询问你的智能语音助手“今天天气怎么样？”时，你会得到类似这样的回答：“今天是晴天，温度10-12摄氏度。”

在聊天机器人单轮对话领域，需要计算用户输入的问题和数据库里面的标准问题的相似度，以便把人工录入的答案检索出来。目前基于深度学习的方法采用bert抽取输入句子中每个字的特征，然后取句子第一个字作为句子的特征，在和数据库里面的句子分别计算余弦相似度，在取相似度最高的问题对应的答案，作为最终的答案。此方法的缺点是训练的时候并未加入余弦相似度，而在推理阶段采用余弦相似度计算，造成训练和预测的分布不一致，导致准确率不高。

发明内容

本发明为解决现有技术中存在的技术问题，一种神经网络训练方法，包括步骤：

S1:对三个句子S1、S2、S3进行标注；

S2:将标注好的三条句子中的二条输入神经网络，分别得到句子特征SF1、SF2、SF3；

S3:计算SF1和SF2的余弦相似度COS(1,2)；

S4:计算正负样本的损失函数J；

S5:设置损失函数L，对正负样本的间距和区分度进行增强；

S6:计算最终损失函数T，对神经网络进行训练。

进一步地，S1:标注训练数据的格式为：句子A句子B相似度标签。

进一步地，句子特征SF1、SF2、SF3取首字的特征。

进一步地，S4:计算正负样本的损失函数J的公式为：

J为损失函数，N为样本数，yi为0或者1，h_θ(x_i)为SF1和SF2的余弦相似度COS(1,2)。

进一步地，步骤S5中的损失函数L为：

L＝max(0,cos(SF1,JSF2)-cos(SF1,SF3)-0.3)

cos(SF1,SF2)为SF1和SF2的余弦相似度，cos(SF1,SF3)为SF1和SF3的余弦相似度。

进一步地，最终的损失函数为T＝L+J。

进一步地，所述神经网络结构为bert。