[发明专利]神经网络训练方法、文本相似度检测方法及对话系统

权利要求书

1.一种神经网络训练方法，其特征是，包括步骤：

S1:对三个句子S1、S2、S3进行标注；

S2:将标注好的三条句子中的二条输入神经网络，分别得到句子特征SF1、SF2、SF3；

S3:计算SF1和SF2的余弦相似度COS(1,2)；

S4:计算正负样本的损失函数J；

S5:设置损失函数L，对正负样本的间距和区分度进行增强；

S6:计算最终损失函数T，对神经网络进行训练。

2.如权利要求1所述的神经网络训练方法，其特征是，S1:标注训练数据的格式为：句子A句子B相似度标签。

3.如权利要求1所述的神经网络训练方法，其特征是，句子特征SF1、SF2、SF3取首字的特征。

4.如权利要求1所述的神经网络训练方法，其特征是，S4:计算正负样本的损失函数J的公式为：

J为损失函数，N为样本数，yi为0或者1，h_θ(x_i)为SF1和SF2的余弦相似度COS(1,2)。

5.如权利要求1所述的神经网络训练方法，其特征是，步骤S5中的损失函数L为：

L＝max(0,cos(SF1,JSF2)-cos(SF1,SF3)-0.3)cos(SF1,SF2)为SF1和SF2的余弦相似度，cos(SF1,SF3)为SF1和SF3的余弦相似度。

6.如权利要求1所述的神经网络训练方法，其特征是，最终的损失函数为T＝L+J。

7.如权利要求1所述的神经网络训练方法，其特征是，所述神经网络结构为bert。

8.一种文本相似度检测方法，包括步骤：

接收输入的句子；

神经网络根据输入的句子，搜索关键句以及相关内容，分别进行特征抽取，计算语义相似度；

将语义相似度得分最高的前N条句子返回，

其特征是，所述神经网络为权利要求1至6之任一神经网络训练方法得到的神经网络。

9.一种对话系统，包括交互单元、处理模块，其中：

交互单元用以接收输入的问话信息；

处理模块用以对输入的句子进行处理并向交互单元返回答案，

其特征是，所述处理模块对输入的句子进行处理的方法为权利要求8所述的文本相似度检测方法。

10.一种电子设备，其特征是，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求7所述的文本相似度检测方法。