[发明专利]基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备

权利要求书

1.一种基于跨模态动态卷积的视频多模态情感识别方法，其特征在于，包括：

S1：获取视频中的各单模态初级特征，包括初级文本特征、初级音频特征以及初级图像特征；

S2：将各单模态初级特征进行词级对齐，得到各个单模态词对齐特征，包括词对齐文本特征、词对齐音频特征和词对齐图像特征；

S3：采用双向GRU网络分别对各个单模态词对齐特征进行预处理，得到各个单模态高级特征，包括高级文本特征、高级音频特征和高级图像特征；

S4：利用跨模态动态卷积对词对齐文本特征、词对齐音频特征和词对齐图像特征进行多模态交互，得到六种跨模态交互对特征；

S5：采用多头注意力机制对六种跨模态交互对特征以及各个单模态高级特征进行融合拼接，并输入到softmax函数中，输出视频的情感识别结果；

其中，GRU表示门循环单元，softmax表示归一化指数函数。

2.根据权利要求1所述的一种基于跨模态动态卷积的视频多模态情感识别方法，其特征在于，所述获取视频中的各单模态初级特征的步骤包括：

S11：使用WordPiece标记视频中文本序列，送入到ERNIE2.0预训练模型中，得到视频中的初级文本特征X_t；

S12：使用openSMILE提取视频中的低级音频特征，采用DCCN提取音频局部特征，进行拼接得到视频中的初级音频特征X_a；

S13：使用openFACE提取视频中的低级图像特征，采用ResNet-152和胶囊网络进行图像特征提取，进行拼接得到视频中的初级图像特征X_v；

S14：获取视频中μ个片段，将每个视频片段中模态m的单模态初级特征信息采用一个特征向量X_m表示，并将所有的特征向量存放于集合χ_m中；即

其中，openSMILE表示音频特征提取模型，openFACE表示图像特征提取模型，DCCN(Dilated Convolutional Neural Network)是扩张卷积神经网络，ResNet-152是残差网络，且m∈{t,a,v}，t代表文本、a表音频、v表图像，表示集合χ_m的维度是μ×d维；d表示单模态初级特征的维度。

3.根据权利要求2所述的一种基于跨模态动态卷积的视频多模态情感识别方法，其特征在于，所述采用DCCN提取音频局部特征包括利用扩张率来降低输入特征图的尺度，其计算公式为：

x′_a＝x_a(n)*w_a(n)

其中，x′_a表示卷积滤波器的输出；x_a(n)是音频信号的输入；w_a(n)是卷积滤波器的输入，σ表示激活函数，表示第l层第i个输出特征的偏置表示，是第l层第i个输出特征表示，是第l-1层第j个输出特征表示，是在BN层第i个和第j个特征之间的卷积滤波器。

4.根据权利要求2所述的一种基于跨模态动态卷积的视频多模态情感识别方法，其特征在于，所述采用ResNet-152和胶囊网络进行图像特征提取包括利用ResNet-152残差网络提取出图像的第一图像特征，将所述第一图像特征输入到胶囊网络中提取出低级图像特征。