[发明专利]一种基于3D卷积神经网络的双模态情感识别方法及系统

摘要

本发明公开了一种基于3D卷积神经网络的双模态情感识别方法及系统。该方法首先分别构建用于表情情感识别和姿态情感识别两种3D卷积神经网络，并基于双模态情感视频库的训练集和验证集优化网络模型参数；然后基于双模态情感视频库的测试集分别对优化后的两种神经网络进行测试，得到表情情感识别混淆矩阵和姿态情感识别混淆矩阵；最后利用表情情感识别混淆矩阵和姿态情感识别混淆矩阵的先验知识，将对新输入的表情视频序列和姿态视频序列的两种模态的识别结果进行融合，得到双模态的情感分类结果。该方法采用3D卷积神经网络和双模态融合算法，避免了人工设计特征的主观性，克服了单模态情感识别的局限性，并能有效提高情感识别的准确性和鲁棒性。

主权项

1.一种基于3D卷积神经网络的双模态情感识别方法，其特征在于，包括以下步骤：(1)同时获取每一个人的面部表情视频片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；(2)利用训练集和验证集中的表情视频序列和姿态视频序列分别对构建的第一3D卷积神经网络和第二3D卷积神经网络进行训练，优化网络模型参数；所述第一3D卷积神经网络和第二3D卷积神经网络均包括：数据输入层，用于输入视频序列，对视频序列中的每帧图像进行归一化处理；至少2个卷积层和池化层的组合模块，其中卷积层采用若干3D卷积核对上一层的输出进行卷积运算，池化层用于对卷积层的输出进行下采样操作；全连接层，用于将上一层池化层的输出全连接至本层的输出神经元，输出一个特征向量；以及，分类层，用于将全连接层输出的特征向量全连接到表示情感类别的输出节点，输出一个n维向量，其中n为情感类别数目；(3)分别利用优化后的第一3D卷积神经网络和第二3D卷积神经网络对测试集中的表情视频序列样本和姿态视频序列样本进行情感分类识别，并统计分类识别结果，得到n×n的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G；(4)利用优化后的第一3D卷积神经网络和第二3D卷积神经网络分别对新输入的表情视频序列和姿态视频序列进行情感分类识别，得到表情和姿态两种模态的情感分类识别结果；(5)利用步骤(3)得到的表情情感分类识别混淆矩阵E和姿态情感分类识别混淆矩阵G的先验知识，将步骤(4)得到的两种模态的情感分类识别结果在决策层进行加权融合，得到双模态的情感分类结果。