[发明专利]一种以文本为核心的多模态情感分类方法

说明书

一种以文本为核心的多模态情感分类方法，涉及自然语言处理技术领域，针对现有技术中将每个模态的语义信息看作一个整体，缺乏探索不同模态交互的能力，进而导致情感分类不准确的问题，包含两部分，一部分是跨模态预测模型，该模型以文本模态特征为输入，输出为语音/图像模态特征。利用该模型我们设计了共享特征与私有特征的判定规则，进而利用规则分辨出共享和私有特征。另一部分是情感预测模型，该模型利用跨模态注意力机制将文本模态特征与语音/图像的共享和私有特征进行融合，最后得到多模态融合特征进行情感分类。

技术领域

本发明涉及自然语言处理技术领域，具体为一种以文本为核心的多模态情感分类方法。

背景技术

多模态情感分析是一个新兴的研究领域，其目的是使用文本和非文本的(视觉、声学)数据来了解人们的情感。这项任务最近引起了社会各界越来越多的关注，因为人们已经意识到，非文本线索对于检测情感和识别视频中的意见与情感有所帮助。

在多模态情感分析方面，有两条主要的工作路线。一种是专注于语篇级的多模态特征融合。这类方法使用了整个语篇的特征，首先提取帧级别的视觉或声音特征，然后将其平均化以获得最终的语篇级特征。语篇级的文本特征可以通过应用RNNs来获得。获得的语篇级特征被送入融合模型以获得多模态表示。目前已提出一些有效的多模态特征融合模型(Zadeh等人，2017；Liu等人，2018；Mai等人，2020)。语篇级的特征主要包含全局信息，可能无法捕捉到局部信息。因此，最近的工作主要集中在词级别的多模态特征上。为了提取词级别特征，第一步是获得每个词在视频中出现的时间戳，包括开始时间和结束时间。然后根据时间戳，将语料分割成一些视频片段。最后，通过对视频片段的帧级别特征进行平均化来获得词级别的视觉或声学特征。研究人员提出了很多方法来进行词级别的多模态特征融合(Zadeh等人，2018；Wang等人，2019；Tsai等人，2019；Vaswani等人，2017)。此外，还有一项相关的工作(Pham等人，2019)需要注意，该工作认为可以从源模态到目标模态的翻译中学习联合表征，并提出了多模态循环翻译网络(MCTN)来学习联合多模态表征。

已有的工作表明，与传统的文本情感分析相比(Liu，2012)，加入非文本数据可以提高情感分析的性能(Chen等人，2017；Zadeh等人，2018；Sun等人，2020)。这有两个原因，第一个原因是，三种模态可以传达一些共同的语义。在这种情况下，这些非文本的共同语义并不提供文本数据以外的额外信息，但其中的重复信息可以加强最终的性能，称之为共享语义。另一个原因是，三种模态都有与其他模态不同的自己特有的语义信息。这些语义信息是模态特有的，仅靠文本数据很难预测到，称之为私有语义。结合私有语义信息可以更准确地检测出最终的情感。

以前的工作通常不区分共享语义和私有语义，而是将每个模态的语义信息看作一个整体，缺乏探索不同模态交互的能力。

发明内容

本发明的目的是：针对现有技术中将每个模态的语义信息看作一个整体，缺乏探索不同模态交互的能力，进而导致情感分类不准确的问题，提出一种以文本为核心的多模态情感分析方法。

本发明为了解决上述技术问题采取的技术方案是：

一种以文本为核心的多模态情感分类方法，包括以下步骤：

步骤一：提取数据中的文本特征序列、视觉特征序列和声学特征序列，然后利用文本特征序列与视觉特征序列训练跨模态预测模型一，之后利用文本特征序列与声学特征序列训练跨模态预测模型二，当跨模态预测模型一和跨模态预测模型二损失函数值不再下降，则模型训练完毕；

步骤二：将待测文本特征序列输入跨模态预测模型一中，得到输出的视觉特征序列，然后根据输出的视觉特征序列得到视觉共享特征及视觉私有特征，

将待测文本特征序列输入跨模态预测模型二中，得到输出的声学特征序列，然后根据输出的声学特征序列得到声学共享特征及声学私有特征；