[发明专利]对话生成模型的训练方法、装置、电子设备及存储介质

权利要求书

1.一种对话生成模型的训练方法，其中，包括：

获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；

将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；

将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；

根据所述问题回复的预测结果对所述对话生成模型进行训练。

2.根据权利要求1所述的方法，其中，所述编码层通过如下方式获得所述问题感知的多模态特征表示：

利用双向注意力机制获得从所述问题到所述多模态数据的第一交互，以及，从所述多模态数据到所述问题的第二交互；

根据所述第一交互和所述第二交互得到所述问题感知的多模态特征表示。

3.根据权利要求1所述的方法，其中，所述解码层通过如下方式得到所述问题的回复的预测结果：

利用注意力机制获取所述回复对应的回复特征表示，并利用注意力机制基于所述多模态特征表示和所述回复特征表示获取所述回复的预测结果。

4.根据权利要求1-3任一项所述的方法，其中，所述编码层包括一组第一编码模块和至少一组第二编码模块；

一组所述第一编码模块包括依次连接的多个第一编码模块，且上一所述第一编码模块的处理结果输出至下一所述第一编码模块，且第一个所述第一编码模块的输入包括所述问题，最后一个所述第一编码模块的输出包括所述问题对应的问题特征表示；

每个所述第一编码模块包括第一编码子模块，所述第一编码子模块对输入进行注意力机制的处理；

所述至少一组第二编码模块中，其中一组所述第二编码模块对应处理所述多模态数据中的其中一种模态数据，且每组所述第二编码模块包括依次连接的多个第二编码模块；一组所述第二编码模块中，上一所述第二编码模块的处理结果输出至下一所述第二编码模块，第一个所述第二编码模块的输入为所述多模态数据中对应的其中一种模态数据，最后一个所述第二编码模块的输出包括感知所述问题的多模态特征表示；

所述第二编码模块包括第二编码子模块和双向注意力机制模块，所述第二编码子模块对输入进行注意力机制的处理，所述双向注意力机制模块对所述问题特征表示和所述第二编码子模块的处理结果进行双向注意力机制的处理。

5.根据权利要求4所述的方法，其中，所述解码层包括一组解码模块，且一组所述解码模块包括依次连接的多个解码模块，上一所述解码模块的输出作为下一所述解码模块的输入，第一个所述解码模块的输入包括所述回复，最后一个所述解码模块的输出包括所述回复对应的预测结果；

所述解码模块包括依次连接的第一解码子模块和至少一个第二解码子模块，所述第一解码子模块利用注意力机制对输入进行处理，第一个解码模块的所述第一解码子模块获取所述回复中已知部分以及待预测部分对应的回复特征表示，所述第二解码子模块的输入包括第一解码子模块或者上一第二解码子模块的输出以及对应的所述多模态特征表示，所述第二解码子模块用于对输入进行注意力机制的处理，最后一个解码模块的所述第二解码子模块的输出包括所述待预测部分的所述预测结果。

6.一种对话生成方法，其中，包括：

获取问题以及所述问题对应的目标对象的多模态数据；

将所述问题以及所述多模态数据输入至对话生成模型，获取所述问题的目标回复；所述对话生成模型利用权利要求1-5任一项所述的方法进行训练。

7.一种对话生成方法，其中，包括：

获取问题；

确定所述问题对应的目标对象；

获取所述目标对象的多模态数据；

将所述问题以及所述多模态数据输入至对话生成模型，获取所述问题的目标回复；所述对话生成模型利用权利要求1-5任一项所述的方法进行训练；

输出所述目标回复。