[发明专利]基于Transformer的多模态情感分析方法

权利要求书

1.一种基于Transformer的多模态情感分析方法，其特征在于，包括如下步骤：

(1)获取训练样本集X_train、验证样本集X_valid和测试样本集X_test；

(1a)选取N个画面中只有一个演讲者进行独白的评论性视频片段V＝{(t,v,a)ⁿ|1≤n≤N}，N≥2000，其中(t,v,a)ⁿ表示第n个包含文本t、视觉v、音频a三种模态的评论性视频片段；

(1b)利用Bert预训练模型、Vision-Transformer预训练模型以及COVAREP工具包对V中每个评论性视频片段的每种模态分别提取文本、视觉、声学特征序列其中T_s、d_s分别表示序列长度和特征维度，s∈(t,v,a)，是实数域；

(1c)随机选取V中N₁个评论性视频片段所提取的特征序列及其对应的情感标签组成训练样本集X_train＝(I_train；Y_train)，将N₃个评论性视频片同理得到测试样本集X_test＝(I_test；Y_test)，将剩余的N₂个评论性视频片段同理得到验证样本集X_valid＝(I_valid；Y_valid)，其中，I_train表示训练多模态数据特征序列集合，表示第n₁个训练多模态数据特征序列，Y_train表示对应的情感标签集合，表示对应的情感标签，I_valid表示验证多模态数据特征序列集合，表示第n₂个验证多模态数据特征序列，Y_valid表示对应的情感标签集合，表示对应的情感标签，I_test表示测试多模态数据特征序列集合，表示第n₃个测试多模态数据特征序列，Y_test表示对应的情感标签集合，表示对应的情感标签，N≥2000，N₂＝N-N₁-N₃；

(2)构建基于Transformer的多模态情感分析模型H：

构建包括由主干网络和单模态标签预测模块H_uni模块构成的多模态情感分析模型H，主干网络包括顺次连接的上下文信息生成模块H_con、基于t的多头注意力模块H_t-MH、跨模态Transformer模块H_TRM、多模态标签预测模块H_mul，单模态标签预测模块H_uni加载在H_con和H_TRM的输出之间，其中H_con包括面向v和a的两路顺次连接的单向长短期记忆网络、一维时间卷积层、位置编码层，以及面向t的一路顺次连接一维时间卷积层、位置编码层；H_t-MH包括并行排布的三个线性层和与其顺次连接的一个归一化层；H_TRM包括D个顺次连接的跨模态Transformer层，D≥4；H_mul包括一个多模态标签分类器；H_uni包括三个并行排布的面向t、v、a的单模态标签分类器；

(3)对多模态情感分析模型H进行迭代训练：

(3a)初始化迭代次数为k，最大迭代次数为K，K≥30，各模态的全局表示F_t^g、均为0，第k次迭代的多模态情感分析模型为H_k，并令k＝1，H_k＝H；

(3b)将X_train作为多模态情感分析模型H_k的输入，进行前向传播：

上下文信息生成模块为中每种模态的特征序列生成上下文相关信息和位置编码，得到具有上下文信息的文本、视觉、声学特征表示F_t、F_v、F_a；基于t的多头注意力模块通过F_t对F_v和F_a进行基于F_t的多头注意力计算，得到跨模态注意力表示和跨模态Transformer模块利用F_t、两两组合进行跨模态映射，得到每种模态的表示F_t^*、拼接后得到多模态表示单模态标签预测模块对F_t、F_v、F_a进行分类得到单模态预测标签多模态标签预测模块对进行分类得到多模态预测标签

(3c)采用平均绝对误差MAE的公式，通过和y_m计算模态标签预测模块的损失值L_m，通过和y_s加权计算单模态标签预测模块的损失值L_u，得到总损失值L_k＝L_m+L_u，并采用反向传播方法，通过损失值L_k计算H_k的权值参数梯度dθ_k，然后采用随机梯度下降法，通过dθ_k对H_k的权值参数进行更新，其中y_m是多模态训练数据对应的情感标签；

(3d)令单模态标签y_s＝y_m，利用各模态标签与全局表示计算正负类中心和其次利用的输出和中的将L₂范式作为距离计算方式计算F_i^*到和的距离并利用和计算F_i^*到和的相对距离α_i，接着利用y_m和α_i生成单模态标签y_s并更新y_s，利用更新F_t^g、得到第k次训练的模型H′_k，其中i∈(m,t,v,a)；

(3e)将验证样本集X_valid作为H′_k的输入进行前向传播，得到每个验证集样本的情感预测标签；判断k≥K是否成立，若是，得到训练好的多模态情感分析模型H′，否则，令k＝k+1，并执行步骤(3b)；

(4)获取多模态情感分析结果；

将测试样本集X_test作为多模态情感分析模型H′的输入进行前向传播，得到每个测试集样本的情感预测标签。