[发明专利]多模态维度情感识别方法

权利要求书

1.多模态维度情感识别方法，其特征在于，包括：

S1：输入待测样本的音频、视频及对应的文本，分别对所述音频、视频和文本进行特征提取，得到帧级别的音频特征、帧级别的视频特征和帧级别的文本特征；

S2：利用时序卷积网络对所述帧级别的音频特征、帧级别的视频特征和帧级别的文本特征分别进行时序上下文建模，得到上下文音频特征、上下文视频特征和上下文文本特征；

S3：利用门控注意力机制对上下文音频特征、上下文视频特征和上下文文本特征进行加权融合，得到多模态特征；

S4：将所述多模态特征、上下文音频特征、上下文视频特征和上下文文本特征进行拼接，得到拼接特征，然后再次利用时序卷积网络对所述拼接特征进行时序上下文建模，得到上下文拼接特征；

S5：对上下文拼接特征进行回归预测，得到最终的维度情感预测结果；

所述利用门控注意力机制对上下文音频特征、上下文视频特征和上下文文本特征进行加权融合，得到多模态特征的具体方法为：

拼接上下文音频特征和上下文文本特征，得到上下文音文特征，利用注意力机制和上下文音文特征计算上下文音频特征的权重系数；

拼接上下文视频特征和上下文文本特征，得到上下文视文特征，利用注意力机制和上下文视文特征计算上下文视频特征的权重系数；

利用所述上下文音频特征的权重系数和所述上下文视频特征的权重系数对上下文音频特征和上下文视频特征进行加权，然后叠加至上下文文本特征中，得到融合三模态信息的多模态特征；

所述拼接上下文音频特征和上下文文本特征，得到上下文音文特征的具体方法为：

对于每一时刻，拼接该时刻上下文音频特征和上下文文本特征，得到上下文音文特征，；

其中，为所述该时刻的音频特征，为所述该时刻的文本特征；

利用注意力机制和上下文音文特征计算上下文音频特征的权重系数的具体方法为：

，

其中，

为上下文音频特征的权重系数；

是一种激活函数；

是线性变换矩阵，为常数；

是偏置系数，为常数；

所述拼接上下文视频特征和上下文文本特征，得到上下文视文特征的具体方法为：

对于每一时刻，拼接该时刻上下文视频特征和上下文文本特征，得到上下文视文特征，；

其中，为所述该时刻的视频特征，为所述该时刻的文本特征；

利用注意力机制和上下文视文特征计算上下文视频特征的权重系数的具体方法为：

，

其中，

为上下文视频特征的权重系数；

是一种激活函数；

是线性变换矩阵，为常数；

是偏置系数，为常数；

所述利用所述上下文音频特征的权重系数和所述上下文视频特征的权重系数对上下文音频特征和上下文视频特征进行加权的具体方法为：

对于每一时刻，对该时刻上下文音频特征和上下文视频特征进行加权得到，

其中，是偏置系数，为常数；

所述得到融合三模态信息的多模态特征的体方法为：

，

其中，为所述该时刻的多模态特征，是一个经验系数。

2.根据权利要求1所述的多模态维度情感识别方法，其特征在于，所述分别对所述音频文件、视频文件和文本文件进行特征提取的具体方法为：

对所述音频文件进行切分得到帧级别的短时音频片段；将所述短时音频片段分别输入至预先训练好的音频特征提取网络，得到所述帧级别的音频特征；

利用人脸检测工具从所述视频文件提取帧级别的人脸图像；将所述帧级别的人脸图像分别输入至预先训练好的人脸表情特征提取网络，得到所述帧级别的视频特征；

利用分词工具对所述文本文件进行分词；将所述分词后的文本文件输入至预先训练好的文本特征提取网络，得到词级别的文本特征；

利用文本对齐工具，获取待测样本的文本文件中每个词语的对齐信息；

根据对齐信息，将词级别的文本特征转化为帧级别的文本特征。