[发明专利]基于Transformer的多模态情感分析方法

说明书

本发明公开了一种基于Transformer的多模态情感分析方法，其实现步骤为：获取训练样本集、验证样本集和测试样本集；构建多基于Transformer的多模态情感分析模型；对多模态情感分析模型进行迭代训练；获得多模态情感分析结果。本发明采用Bert和ViT预训练模型对文本和视觉模态的数据进行特征提取，基于t的多头注意力模块使视觉和音频数据更专注与文本相关的信息，跨模态Transformer模块和单模态标签预测模块使融合特征表示具有统一性和差异性信息，避免了现有技术中因为忽略不同模态对情感分析贡献度不同、单模态缺少长期依赖，导致情感分析准确度较低的技术问题，有效地提高了多模态情感分析的准确度。

技术领域

本发明属于多模态学习技术领域，更进一步涉及情感分析技术领域的一种基于Transformer的多模态情感分析方法，可应用于对视频中说话者传达的情感进行分析和理解。

背景技术

随着近年来社交媒体和拥有高质量摄像头的手机的广泛普及，多模态数据越来越多地进入到人们的工作和生活中，例如商家通过分析消费者上传的测评视频，根据说话者的话语、语音语调以及面部表情来捕获消费者对商品传达出的情感。情感的强度范围设置在-3到3之间，小于0时判定为消极，大于0时判定为积极，等于0是表示中立。通常，在对多模态数据进行情感分析时，往往会忽略掉不同模态数据对情感分析贡献度不相同、信息异步性的特点，导致情感分析的精度降低。因此，寻找一个有效的多模态情感分析方法，以提高视频所传达情感的分析精度。

多模态情感分析根据特征融合的方式可分为三种：早期融合方法、晚期融合方法和多阶段融合方法。早期融合方法是将不同模态的输入在模型浅层进行简单的拼接，融合后的特征再输入到单个模型当中完成特征提取和预测。晚期融合放啊在早期融合方法的基础上，首先根据每种模态做出决策，通过对决策结果的加权平均来得到最终的预测结果。多阶段融合方法结合了早期融合与晚期融合两种方法的优点，通常先通过简单的网络结构将不同模态参数空间统一化，再完成初级模态信息融合。融合后的特征再继续经过后续深度特征提取网络进行进一步模态相关的深层特征提取，最终提取到的特征在分类层之前做最终的融合后进行分类预测。

多阶段融合方法依靠网络和梯度传播来完成特征空间的统一和特征深层相互作用的功能，既保留了用不同模型结构处理不同模态分支的能力，又自然地完成了不同模态信息融合的目的，对提取到强大特征更有优势。传统的多阶段融合方法未考虑不同模态对情感分析贡献度不同、信息表达异步性的特点，使得单模态特征缺少长期依赖，学习到的多模态融合表示缺少语义信息，分析精度较低。

为了避免忽略不同模态对情感分析贡献度不同、信息表达异步性的特征，导致传统的多阶段融合方法无法很好地处理非对齐数据，基于序列到序列的多模态情感分析方法应运而生，例如，申请公布号为CN114091466A，申请名称为“一种基于Transformer和多任务学习的多模态情感分析方法及系统”的专利申请，该发明在特征提取方面，采用Glove嵌入、Facet、COVAREP提取文本、视觉、音频特征，主任务采用映射Transformer编码器，从三种模态中学习三模态融合特征并预测情感极性，在辅助任务中采用自监督的方式分别确定三个映射特征的标签并进行情感预测，最后结合两种任务的情感得到情感分析结果。但是其存在的缺陷在于，该方法仅平等地看待每种模态的数据所包含的与情感表达相关的信息量，没有凸显贡献度高的模态的作用，获取的单模态特征缺少长期依赖，信息并不足够丰富，导致多模态情感分析的准确度仍有所欠佳。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于Transformer的多模态情感分析方法。用于解决现有技术中存在的忽略不同模态对情感分析贡献度不同、信息表达异步性，单模态特征缺少长期依赖，导致的多模态情感分析准确度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集X_train、验证样本集X_valid和测试样本集X_test；