[发明专利]一种对话预测的方法及装置

权利要求书

1.一种对话预测方法，其特征在于，所述方法包括：

获取聊天过程中的当前输入文本的当前文本特征；

确定所述当前输入文本对应的辅助聊天信息；

通过编码器提取所述辅助聊天信息的编码特征；

以所述编码特征和所述当前文本特征作为解码器的输入，确定所述编码特征和所述当前文本特征分别对应的权重，并根据权重将所述编码特征和所述当前文本特征进行融合，得到与所述当前输入文本对应的对话输出特征；

基于所述对话输出特征输出与所述聊天过程匹配的对话信息。

2.根据权利要求1所述的方法，其特征在于，所述辅助聊天信息包括人物个性信息和历史聊天信息；

所述通过编码器提取所述辅助聊天信息的编码特征，包括：

通过所述编码器，确定所述历史聊天信息对应的历史编码特征，以及所述人物个性信息对应的辅助编码特征。

3.根据权利要求2所述的方法，其特征在于，所述以所述编码特征和所述当前文本特征作为所述解码器的输入，确定所述编码特征和所述当前文本特征分别对应的权重，并根据权重将所述编码特征和所述当前文本特征进行融合，得到与所述当前输入文本对应的对话输出特征，包括：

将所述编码特征以及所述当前文本特征输入所述编码器对应的解码器中，利用所述解码器中的注意力模型确定所述当前文本特征、所述编码特征分别对应的权重；

利用权重将所述当前文本特征与所述编码特征加权，得到所述融合特征；

将所述融合特征、所述编码特征输入线性预测模型中，得到多个输出文本特征以及对应的生成概率；

将生成概率最高的输出文本特征作为所述当前输入文本对应的对话输出特征。

4.根据权利要求3所述的方法，其特征在于，所述解码器中的注意力模型包括自注意力模型、第一双向注意力模型、第二双向注意力模型以及注意力加权模型；

所述确定所述历史聊天信息对应的历史编码特征，以及所述人物个性信息对应的辅助编码特征之后，还包括：

将所述当前文本特征输入所述自注意力模型中，确定所述当前文本特征的输入注意力矩阵；

将所述当前文本特征和所述历史编码特征输入所述第一双向注意力模型中，将所述当前文本特征作为所述第一双向注意力模型的查询向量，将所述历史编码特征作为所述第一双向注意力模型的键向量和值向量，进行逻辑回归得到所述第一双向注意力模型输出的历史注意力矩阵；

将所述当前文本特征和辅助编码特征输入第二双向注意力模型中，将所述当前文本特征作为所述第二双向注意力模型的查询向量，将所述辅助编码特征作为所述第二双向注意力模型的键向量和值向量，进行逻辑回归得到所述第二双向注意力模型输出的辅助注意力矩阵。

5.根据权利要求4所述的方法，其特征在于，所述确定所述编码特征和所述当前文本特征分别对应的权重，并根据权重将所述编码特征和所述当前文本特征进行融合，包括：

将所述输入注意力矩阵、所述历史注意力矩阵以及辅助注意力矩阵输入所述注意力加权模型，分别确定所述输入注意力矩阵的权重、所述历史注意力矩阵的权重、以及所述辅助注意力矩阵的权重；

根据权重将所述历史注意力矩阵、所述辅助注意力矩阵以及所述输入注意力矩阵进行融合，得到融合特征矩阵。

6.根据权利要求5所述的方法，其特征在于，所述输入注意力矩阵的权重、所述历史注意力矩阵的权重、以及所述辅助注意力矩阵的权重均为标量；或者所述输入注意力矩阵的权重、所述历史注意力矩阵的权重、以及所述辅助注意力矩阵的权重均为向量；

所述获取聊天过程中的当前输入文本的当前文本特征之前，还包括：

根据原始标量参数，将所述输入注意力矩阵的权重、所述历史注意力矩阵的权重、以及所述辅助注意力矩阵的权重分别初始化；

利用聊天训练文本对所述解码器进行迭代训练的过程中，更新所述历史注意力矩阵的权重、所述辅助注意力矩阵的权重以及所述输入注意力矩阵的权重，分别得到所述历史注意力矩阵的第一标量参数、所述辅助注意力矩阵的第二标量参数以及所述输入注意力矩阵的第三标量参数。