[发明专利]面向不确定模态缺失的多模态情感分析方法及系统

权利要求书

1.面向不确定模态缺失的多模态情感分析方法，其特征在于，包括：

获取带有不确定缺失的多模态数据，包括三种模态：文本、视觉和音频；

通过训练后的多模态情感分析网络处理所述三种模态数据，以生成并输出最终的情感分类；

其中，所述多模态情感分析网络包括模态翻译模块，所述模态翻译模块是基于多头注意力机制提取三种模态数据的单模态特征，并使用Transformer解码器对Transformer编码器进行监督，使视觉特征和音频特征逼近文本特征，从而将视觉特征和音频特征翻译成文本特征；

所述基于多头注意力机制提取三种模态数据的单模态特征，具体为：

使用Transformer编码器提取每种模态的上下文特征；

对提取的上下文特征进行残差连接，并进行归一化；

对归一化之后的上下文特征进行线性变换，得到三种模态数据的单模态特征；

所述使用Transformer解码器对Transformer编码器进行监督，具体为：

以文本特征作为多头注意力机制的Query、待翻译的模态特征作为多头注意力机制的Key和Value，构建Transformer解码器；

通过待翻译的模态特征与Transformer解码器输出的文本特征之间的翻译损失，监督Transformer编码器将待翻译的模态特征向文本特征进行翻译；

所述多模态情感分析网络还包括公共空间投影模块；

所述公共空间投影模块是对模态翻译后的三种模态特征进行线性变换，获取各模态的自相关公共空间，将其融合为缺失模态的联合特征；

所述多模态情感分析网络还包括预训练模块和Transformer编码器模块；

所述预训练模块，使用所有完整的模态数据对多模态情感分析网络进行预训练；

所述Transformer编码器模块，在预训练的多模态情感分析网络的监督下，指导缺失模态的联合特征向完整模态的联合特征逼近，对缺失模态的联合特征进行编码，从而生成完整模态的联合特征；

所述多模态情感分析网络还包括Transformer解码器模块；

将所述Transformer编码器模块的输出作为Transformer解码器模块的输入，通过解码器损失，引导Transformer编码器学习不同模态之间的长期依赖关系。

2.如权利要求1所述的面向不确定模态缺失的多模态情感分析方法，其特征在于，所述多模态情感分析网络的总体训练目标由分类损失、预训练损失、Transformer编码器-解码器损失、模态翻译损失加权求和得到。