[发明专利]一种基于3D卷积神经网络的双模态情感识别方法及系统

权利要求书

1.一种基于3D卷积神经网络的双模态情感识别方法，其特征在于，包括以下步骤：

(1)同时获取每一个人的面部表情视频片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；

(2)利用训练集和验证集中的表情视频序列和姿态视频序列分别对构建的第一3D卷积神经网络和第二3D卷积神经网络进行训练，优化网络模型参数；所述第一3D卷积神经网络和第二3D卷积神经网络均包括：

数据输入层，用于输入视频序列，对视频序列中的每帧图像进行归一化处理；

至少2个卷积层和池化层的组合模块，其中卷积层采用若干3D卷积核对上一层的输出进行卷积运算，池化层用于对卷积层的输出进行下采样操作；

全连接层，用于将上一层池化层的输出全连接至本层的输出神经元，输出一个特征向量；

以及，分类层，用于将全连接层输出的特征向量全连接到表示情感类别的输出节点，输出一个n维向量，其中n为情感类别数目；

(3)分别利用优化后的第一3D卷积神经网络和第二3D卷积神经网络对测试集中的表情视频序列样本和姿态视频序列样本进行情感分类识别，并统计分类识别结果，得到n×n的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G；

(4)利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表情视频序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；

(5)利用步骤(3)得到的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G的先验知识，将步骤(4)得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果；包括：

(5.1)对表情情感分类识别混淆矩阵E主对角线上的元素的数值进行归一化，得到

(5.2)对姿态情感分类识别混淆矩阵G主对角线上的元素的数值进行归一化，得到

(5.3)将表情和姿态两种模态的情感分类识别结果进行加权融合，得到一个新的n维向量V，即

比较向量V中每一个维度的数值大小，其中数值最大的维度所对应的类别就是输入视频序列的情感类别；其中[p₁ p₂ p₃…p_n]^T和[q₁ q₂ q₃…q_n]^T分别为第一3D卷积神经网络和第二3D卷积神经网络分类层输出的识别结果向量。

2.根据权利要求1所述的一种基于3D卷积神经网络的双模态情感识别方法，其特征在于，所述第一3D卷积神经网络，包括顺序连接的1个数据输入层、至少2个卷积层和池化层的组合模块、1个全连接层和1个Softmax分类层；

所述数据输入层为第一层，输入为表情视频序列，对视频序列中的每帧图像进行归一化处理；所述表情视频序列的长度为16、24或32帧；

所述卷积层和池化层的组合模块，包含1个卷积层和1个池化层，其中，卷积层包含ReLU非线性激活函数层，选用m₁个d₁×k₁×k₁的3D卷积核对上一层的输出进行卷积运算，其中，d₁、k₁在3、5、7数值中选取，m₁在32、64、128、256、512数值中选取；池化层选用d₂×k₂×k₂的池化核对上一层卷积层的输出进行下采样操作，其中，d₂、k₂在1、2、3数值中选取；

所述全连接层将上一层池化层的输出全连接至本层的c个输出神经元，输出一个c维的特征向量，其中，c在256、512、1024数值中选取；

所述Softmax分类层将上一层全连接层输出的特征向量全连接到n个输出节点，经过Softmax回归后得到一个n维向量[p₁ p₂ p₃…p_n]^T，其中每一个维度的数值就是输入表情视频序列的情感类别属于对应类别的概率；n为情感类别数目。