[发明专利]训练话术生成模型、生成应答话术的方法和装置

权利要求书

1.一种训练话术生成模型的方法，所述方法包括：

针对用户与人工客服的第一历史对话，对所述第一历史对话中的用户对话，进行关键词抽取以得到所述第一历史对话中的表征用户意图的第一意图关键词；

将所述第一历史对话中的客服对话作为所述第一意图关键词对应的第一应答话术，以得到一组训练样本；

将一组训练样本中的所述第一意图关键词以字为单位按照各字的位置关系输入待训练的话术生成模型，所述话术生成模型包括编码器和解码器，所述编码器根据所述位置关系以及所述第一意图关键词中的各字对所述第一意图关键词进行编码，得到所述第一意图关键词对应的第一语义向量，并将所述第一语义向量输入到所述解码器进行多次迭代解码，每次迭代解码包括，根据本次迭代中输入的所述第一应答话术中当前位置的字对应的向量，以及解码器在上次迭代中针对之前位置的处理结果，确定针对下一位置的字的预测结果；针对各个位置的字的预测结果构成话术预测结果；

根据所述第一应答话术和所述话术预测结果,确定预测损失；

以最小化预测损失为目标对所述话术生成模型进行训练。

2.如权利要求1所述的方法，其中，所述对所述话术生成模型进行训练，包括：

对所述话术生成模型进行分阶段训练，得到各阶段分别对应的训练后的话术生成模型；其中，各阶段对应不同的训练样本集合；

依据所述话术生成模型在给定验证集上面的困惑度指标，从各阶段分别对应的训练后的话术生成模型中选择最优的话术生成模型，作为训练后的话术生成模型。

3.如权利要求1所述的方法，其中，所述多次迭代解码包括初次迭代解码，所述初次迭代解码，包括：

将缺省向量作为初始位置对应的向量，将第一语义向量作为所述上次迭代中的输出，确定所述话术预测结果中的第一个字。

4.如权利要求1所述的方法，其中，所述编码器基于转换器单元形成，所述编码器根据所述位置关系以及所述第一意图关键词中的各字对所述第一意图关键词进行编码，包括：

对所述第一意图关键词中各个字进行嵌入，得到各个字的嵌入向量；

根据各个字的位置，得到各个字的位置向量；

根据各个字的嵌入向量和位置向量，得到各个字的编码向量；

根据注意力机制，对各个字的编码向量进行若干次加权综合，得到所述第一语义向量。

5.如权利要求1所述的方法，其中，所述编码器为基于时序的神经网络，所述编码器根据所述位置关系以及所述第一意图关键词中的各字对所述第一意图关键词进行编码，包括：

将所述第一意图关键词中的各个字依次输入所述神经网络，所述神经网络根据当前时刻的输入和前一时刻的输出，确定当前输出，所述第一语义向量为所述神经网络处理所述第一意图关键词中最后一个字后输出的向量。

6.如权利要求1所述的方法，其中，所述将所述第一语义向量输入到所述解码器进行多次迭代解码，包括：

所述解码器将已得到的第一位置的输出存储于解码词表中；

所述解码器确定第二位置的输出时，所述第二位置为所述第一位置的下一位置，确定所述第二位置对应的各候选字的初始概率值，查询所述解码词表，对于所述解码词表中存在的字，将各候选字的初始概率值调整为对应的调整概率值，依据各候选字的调整概率值确定所述第二位置输出的解码字，并将该解码字加入到所述解码词表中。