[发明专利]基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质

说明书

本申请公开了一种基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质，属于自然语言处理技术领域。本申请首先利用编码器，通过设计不同的掩码矩阵以实现对话中各方的交互，同时引入对话历史信息，仅在词编码阶段就考虑了情感动力学的影响。然后，本申请通过利用图注意力网络实现对外部结构化情感知识的利用，从而扩充了话语的语义信息，弥补了词编码器模块在某些特定维度上知识的缺失。最终，在任务损失函数的基础上又加入了一个回溯损失以达到在训练过程中利用过去模型状态的先验经验的效果。旨在利用先前的训练经验来指导权重更新，确保模型决策更接近真实值，而不是前一个训练步骤中表现相对较差的预测。

技术领域

本申请涉及一种对话情绪识别网络模型、构建方法、电子设备及存储介质，尤其涉及一种基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质，属于自然语言处理技术领域。

背景技术

情绪是人类的基本特征，由于其在我们日常生活中扮演着重要的角色，因而心理学、社会学、计算机科学等领域的研究人员对此进行了多年的研究。它们有助于在以人为中心的环境中进行感知、沟通和决策。人工智能的一个长期目标是创造能够检测和理解情绪的情感代理。在过去的二十年左右的时间里，人工智能研究人员一直在试图赋予机器识别、解释和表达情绪和情绪的认知能力。情绪识别因其在观点挖掘、推荐系统、医疗保健等领域的广泛应用，在自然语言处理领域十分受欢迎。早期情绪识别的研究主要集中在理解独白中的情绪。近几年来，由于在Facebook，Twitter，Reddit和Weibo等社交媒体平台上开放的对话数据激增，会话中的情感识别(ERC)才开始受到自然语言处理领域的关注。会话中的情感识别(ERC)是从会话中的话语中检测情感的任务。毫无疑问ERC是一项重要的任务，有助于创建移情对话系统，改善总体人机交互体验。此外，ERC在视觉问答、医疗系统、教育助手等方面具有潜在的应用前景。

与句子/段落级的普通情绪识别不同，ERC显然需要对每个对话中的目标话语进行上下文建模以得到语境的表示。这种语境不仅由历史对话信息决定，还依赖于话语的时间序列。语境一直都是表示学习需要考虑的关键问题，近年来一些工作致力于研究考虑语境的词表示与句子表示，并在许多下游任务的效果上取得了巨大的提升。对于对话中的话语来说，语境指的是在目标话语被发出的时刻之前所有的对话记录。根据任务的实际情况，语境有时也同时包括目标话语被发出的时刻之后所有的对话记录。因此与最近发表的专注于解决ERC任务的工作相比，无论是基于词典的还是基于现代深度学习的情绪识别方法在ERC数据集上都不能很好地工作。这主要归因于早期的情绪分析工作忽略了会话中特定的因素，例如上下文线索的存在、说话人轮流的时间性或说话人特定的信息。除此之外，情感动力学的存在也给语境建模带来了困难，这主要包括两个主要属性：自我和人际依赖。自我依赖，也被称为情绪惰性，处理的是说话者在对话过程中对自己产生的情绪影响。另一方面，人际依赖关系与对方对说话人产生的情感影响有关。同时在对话过程中，说话者也倾向于模仿对方以建立融洽的关系。

由于研究人员们意识到了ERC任务的重要性，最近已经组织了两个共享任务-EmotionX(与SocialNLP研讨会合办)和EmoContext(Semeval 2019任务3)，以解决ERC问题。然而这些共享任务只是对ERC问题的初步探索，出发点是为了引起更多研究人员的兴趣，这从给定的数据集中就可以看出。EmoContext任务仅仅需要预测出对话中最后一句话的情绪，并且如图7所示，每个对话只包含三句话并且话语大多是短句。因此这个数据集上的大部分工作使用LSTM结构辅助以注意机制来丰富上下文表示，并不需要精心设计模型也可以取得不错的效果。