[发明专利]面向不确定模态缺失的多模态情感分析方法及系统

说明书

本发明提出了面向不确定模态缺失的多模态情感分析方法及系统，涉及数据处理技术领域，具体方案包括：获取带有不确定缺失的多模态数据，包括三种模态：文本、视觉和音频；通过训练后的多模态情感分析网络处理所述三种模态数据，以生成并输出最终的情感分类；本发明基于模态翻译模块，将视觉和音频模态翻译成文本模态，提高视觉和音频模态质量并且能够捕获不同模态之间的深层交互；通过对完整模态进行预训练，得到完整模态的联合特征来指导缺失模态的联合特征向完整模态的联合特征逼近，不需要考虑有哪种模态缺失，只需要向完整模态的联合特征向量逼近即可，具有更强的通用性。

技术领域

本发明属于数据处理技术领域，尤其涉及面向不确定模态缺失的多模态情感分析方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前，在信息化与智能化快速发展的环境下，多模态情感分析(MSA)在自然人机交互、个性化广告、意见挖掘和决策等领域发挥了极大的作用；该技术致力于通过文本、语音或面部表情等不同方式来识别人类情感；近年来，随着移动互联网和智能终端的快速发展，越来越多的用户通过推特、微博等社交平台表达自己的观点和感受，产生了大量的社交数据；社交平台上的数据已经从单一的文本形式发展为多模态数据，例如文本、音频和图像。

与单模态数据相比，多模态数据包含更加丰富的信息，更有利于识别用户的真实情感；当前，多模态情感分析引起了广泛的关注，已经成为人工智能领域的研究热点，并且出现了多种有效的多模态情感分析模型；例如：基于循环神经网络的多模态情感分析模型、基于Transformer的多模态情感分析模型、基于图卷积神经网络的多模态情感分析模型；现有的多模态情感分析模型能够较好地识别用户的情感，促进了多模态情感分析领域的发展。

然而，现有的MSA模型进行情感分析时，是在所有模态(文本、视觉和音频)都可用的假设下提出的；然而，在现实场景中，由于一些不可控的因素，总是会出现不确定模态缺失的情况；例如，如图1所示，由于摄像头关闭或遮挡导致视觉内容不可用；由于用户沉默，导致语音内容不可用；由于监控设备错误导致语音和文字丢失；或者由于照明或遮挡问题，无法检测到人脸；因此，所有模态随时都可用的假设在现实场景中并不总是成立；当模态随机缺失时，已有的大多数多模态情感分析模型可能会失效；因此，如何处理多模态情感分析中缺失的模态正成为一个新的挑战。

目前，已有一些研究工作集中在模态缺失问题上；Han等人提出了一种联合训练方法，该方法隐式地融合了来自辅助模态的多模态信息，从而提高了单模态情感分析性能；Srinivas等人提出的方法，研究了自动视听表情识别中的视听模态缺失问题，研究了Transformer在缺少一种模态时的性能，并进行消融研究以评估模型,结果证明该工作在模态缺失时具有很好的通用性；为了解决物体识别中模态缺失的问题，Tran等人通过利用不同模式之间的相关性来估算缺失的数据。

Zhao等人提出了一个缺失模态想象网络(MMIN)来处理不确定的模态缺失问题，MMIN学习鲁棒的联合多模态表示，它可以预测在不同缺失模态条件下给定可用模态的任何缺失模态的表示；Zeng等人提出了一种标签辅助Transformer编码器(TATE)网络来处理缺失不确定模态的问题，TATE中包含一个标签编码模块，可以同时涵盖单模态和多模态缺失的情况。

上述研究取得了良好的效果，在缺乏特定模态的情况下推动了情感分析的研究；虽然取得了不错的成绩，但仍存在以下不足：首先，现有作品在实现特征融合时只进行拼接操作，无法捕获不同模态特征之间的交互；其次，现有的工作没有考虑MSA中文本模态的优势，从而影响了多模态情感分析的效果；此外，现有的工作需要考虑不同模态的缺失情况，然后对不同的缺失情况进行处理，随后进行情感分析，增加了模型的复杂度。

发明内容