[发明专利]一种基于生成式常识辅助增强对话中情绪识别的方法

说明书

本发明公开了一种基于生成式常识辅助增强对话中情绪识别的方法，包括构建预训练模型，获取训练用对话所包含的话语隐状态；利用常识图谱生成模型得到上下文相关的推断结果集合，得到常识图谱的特征编码集合；基于话语隐状态、上下文文本对以及常识图谱的特征编码集合进行辅助性回复生成任务，并计算生成损失；计算监督对比学习损失和交叉熵损失；基于生成损失、监督对比学习损失以及交叉熵损失计算总体训练损失，并对所述预训练模型进行训练。采用监督对比学习和回复生成任务的多任务学习框架，利用常识知识辅助回复生成任务来增强模型处理上下文信息的能力，对话系统能够识别说话人的情绪，就能更有针对性地做出回复。

技术领域

本发明涉及一种深度学习与自然语言处理领域，特别是涉及一种基于生成式常识辅助增强对话中情绪识别的方法。

背景技术

随着大型预训练语言模型的逐渐流行，并且越来越多地被用于开放域对话系统中。开放域对话系统中有一个关键模块是自然语言理解模块，该模块用于分析用户行为，例如意图或情绪。使用对话上下文来分析用户情感更适合现实世界中的使用场景，具有更大的研究价值。为此，许多研究者开始钻研如何在对话模型中添加外部知识以增强对话情感感知的能力对话中的情感识别的任务是为具有上下文关系的历史对话中的所有话语分配情感标签。同时，每个历史对话都包含多个不同说话者之间的互动。

开放域对话系统有着回答单调乏味、缺少知识信息等缺点。对话中情绪识别面临几个挑战：1)每个话语的情绪都可能受到上下文信息影响。例如，上下文的某些话语影响当前说话者情绪。同时，具有相同表达的话语在不同的上下文中可能具有完全不同的情绪。因此，需要有效地建模上下文依赖和说话者依赖。2)每个说话者的情绪都会受到对话中其他说话者的话语的影响，因此说话者的情绪可能会发生突然变化。3)第三个挑战在于语义相似但不同类别的情绪，例如“沮丧”和“悲伤”，“快乐”和“兴奋”等。很难区分这些语义相似的情感类别。

在对话系统中，具有相似语义的话语在不同的上下文中可能具有不同的情感。因此，对依赖说话者的远程上下文情感关系进行建模，在对话情感识别中可以起着至关重要的作用。但是，区分不同的情感类别并非易事，因为它们通常具有语义相似的情感。因此，亟需一种能够利用情绪识别生成对话的方法。

发明内容

本发明要解决的技术问题是为了克服现有技术中的缺陷，提供一种利用常识知识来辅助增强对话中情绪识别的方法。

本发明是通过下述技术方案来解决上述技术问题：一种基于生成式常识辅助增强对话中情绪识别的方法，其特征在于，包括以下步骤：

S1，基于编码器-解码器构建预训练模型，采用所述预训练模型对训练用对话进行话语编码获取所述训练用对话所包含的话语隐状态；

S2，利用常识图谱生成模型得到上下文相关的推断结果集合，基于上下文相关的推断结果集合，得到常识图谱的特征编码集合；

S3，基于所述话语隐状态、上下文文本对以及常识图谱的特征编码集合进行辅助性回复生成任务，并计算生成损失；同时利用所述话语隐状态进行话语上下文建模得到新的话语隐状态；

S4，基于所述的新的话语隐状态计算监督对比学习损失和交叉熵损失；

S5，基于所述生成损失、监督对比学习损失以及交叉熵损失计算总体训练损失，并对所述预训练模型进行训练，直至获得训练好的预训练模型并将其作为对话情绪识别模型。

优选地，所述预训练模型具有对话级Transformer模块以及共享嵌入层，所述步骤S3中利用所述话语隐状态进行话语上下文建模得到新的话语隐状态，具体为将所述话语隐状态输入至对话级Transformer模块进行话语上下文建模得到新的话语隐状态。

优选地，所述步骤S2利用常识图谱生成模型得到上下文相关的推断结果集合，基于上下文相关的推断结果集合，得到常识图谱的特征编码集合；具体为：