[发明专利]对话生成模型的训练方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种对话生成模型的训练方法、装置、电子设备及存储介质，所述方法包括：获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；根据所述问题回复的预测结果对所述对话生成模型进行训练。该技术方案能够避免由于问题所针对的目标对象的属性值缺失而导致对话生成模型无法给出准确回复的情况，从而能够提高对话生成模型的预测准确率，提高用户的使用体验。

技术领域

本公开涉及计算机技术领域，具体涉及一种对话生成模型的训练方法、装置、电子设备及存储介质。

背景技术

随着技术的发展，任务型对话系统在工业界和学术界得到了广泛的关注，例如在电商领域，任务型对话系统可以帮助用户自助得到问题的回复。然而，目前的任务型对话系统中的对话生成方法基于结构化的属性库，通过关键词从结构化属性库中匹配得到问题的回复。但是，在一些应用场景下，结构化属性库中的结构化数据往往是不可获知的。例如，在二手交易平台上，发布二手信息的均是普通用户，大多数发布二手信息的用户不会按照结构化属性库的定义输入二手信息的相关属性值；此外，还存在一些二手信息，其属性值并不是标准的属性值。因此，利用目前已有的任务型对话系统很难自动输出与问题相匹配的回复。

发明内容

本公开实施例提供一种对话生成模型的训练方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种对话生成模型的训练方法，其中，包括：

获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；

将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；

将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；

根据所述问题回复的预测结果对所述对话生成模型进行训练。

进一步地，所述编码层通过如下方式获得所述问题感知的多模态特征表示：

利用双向注意力机制获得从所述问题到所述多模态数据的第一交互，以及，从所述多模态数据到所述问题的第二交互；

根据所述第一交互和所述第二交互得到所述问题感知的多模态特征表示。

进一步地，所述解码层通过如下方式得到所述问题的回复的预测结果：

利用注意力机制获取所述回复对应的回复特征表示，并利用注意力机制基于所述多模态特征表示和所述回复特征表示获取所述回复的预测结果。

进一步地，所述编码层包括一组第一编码模块和至少一组第二编码模块；

一组所述第一编码模块包括依次连接的多个第一编码模块，且上一所述第一编码模块的处理结果输出至下一所述第一编码模块，且第一个所述第一编码模块的输入包括所述问题，最后一个所述第一编码模块的输出包括所述问题对应的问题特征表示；

每个所述第一编码模块包括第一编码子模块，所述第一编码子模块对输入进行注意力机制的处理；

所述至少一组第二编码模块中，其中一组所述第二编码模块对应处理所述多模态数据中的其中一种模态数据，且每组所述第二编码模块包括依次连接的多个第二编码模块；一组所述第二编码模块中，上一所述第二编码模块的处理结果输出至下一所述第二编码模块，第一个所述第二编码模块的输入为所述多模态数据中对应的其中一种模态数据，最后一个所述第二编码模块的输出包括感知所述问题的多模态特征表示；