[发明专利]基于同构性和异质性动态信息交互的多模态情感分类方法

权利要求书

1.基于同构性和异质性动态信息交互的多模态情感分类方法，其特征在于包括以下步骤：

步骤一：获取CMU-MOSI多模态情感数据集，并对CMU-MOSI多模态情感数据集进行预处理，得到文本异质性特征和音频异质性特征，所述预处理具体步骤为：

步骤一一：将数据集内的文本序列数据经过BERT模型的编码层和解码层进行特征提取，得到文本异质性特征；

步骤一二：将数据集内的音频语义信号采用COVAREP库提取出每一帧内的音频异质性特征；

步骤二：采用P2FA将文本异质性特征和音频异质性特征在单词级别的每个时间步内进行模态对齐，对模态对齐后的文本异质性特征和音频异质性特征取平均，得到文本、音频两种模态单词级别对齐的长度相同的特征；

步骤三：将文本、音频两种模态单词级别对齐的长度相同的特征映射到一维卷积网络层，输出维度相同的文本异质性特征和音频异质性特征；

步骤四：将维度相同的文本异质性特征和音频异性质特征映射到一个多模态共享权重的子空间，并通过分布式排列学习不同模态之间的同构性，得到文本模态同构隐藏特征和音频模态同构隐藏特征；

步骤五：将文本异质性特征与文本模态同构隐藏特征进行矩阵相乘，得到文本信息交互矩阵；

将音频异质性特征和音频模态同构隐藏特征进行矩阵相乘，得到音频信息交互矩阵；

然后分别引入padding mask矩阵M，得到文本信息交互表示矩阵以及音频交互信息表示矩阵；

步骤六：利用软注意力方法分别对文本信息交互表示矩阵以及音频交互信息表示矩阵进行处理，得到文本注意力矩阵以及音频注意力矩阵；

步骤七：将文本注意力矩阵以及音频注意力矩阵进行加权求和，得到加权融合信息交互矩阵；

步骤八：将加权融合信息交互矩阵与文本异质性特征进行加权计算，得到多模态信息交互矩阵；

步骤九：将多模态信息交互矩阵与文本异质性特征进行残差连接和归一化处理，得到多模态融合特征数据；

步骤十：将多模态融合特征数据经过全连接层和softmax得到情感分类结果；

步骤十一：利用文本异质性特征和音频异质性特征作为输入、情感分类结果作为输出训练多模态情感分类模型，并利用交叉熵损失函数优化模型，得到训练好的多模态情感分类模型；

步骤十二：将待识别的文本异质性特征和音频异质性特征输入训练好的多模态情感分类模型，得到情感分类结果；

所述多模态情感分类模型的损失函数为：

l＝l_task+αl_Similarity

其中，α表示相似度损失函数的正则化权重，l_Similarity表示相似度损失函数，l_task表示交叉熵损失函数，所述相似度损失函数用于计算文本模态同构隐藏特征和音频模态同构隐藏特征之间的损失；

所述相似度损失函数如下：

其中，l_Similarity表示相似度损失函数，α_t表示文本模态同构隐藏特征，β_a表示音频模态同构隐藏特征，t表示文本特征，a表示音频特征，{T,A}表示特征空间，CMD_K(α_t,β_a)表示文本模态同构隐藏特征和音频模态同构隐藏特征中心距差函数；

所述交叉熵损失函数如下：

其中，N是语料的数量，为期望输出，为实际输出，i表示语料的序号，i＝1...N。

2.根据权利要求1所述的基于同构性和异质性动态信息交互的多模态情感分类方法，其特征在于所述文本异质性特征如下：

其中，T₁,T₂,...,T表示文本表征序列。

3.根据权利要求2所述的基于同构性和异质性动态信息交互的多模态情感分类方法，其特征在于所述音频异质性特征如下：

其中，A₁,A₂,…,A_n表示音频信号序列，Time-Step表示每一帧。