[发明专利]一种基于3D卷积神经网络的双模态情感识别方法及系统

说明书

本发明公开了一种基于3D卷积神经网络的双模态情感识别方法及系统。该方法首先分别构建用于表情情感识别和姿态情感识别两种3D卷积神经网络，并基于双模态情感视频库的训练集和验证集优化网络模型参数；然后基于双模态情感视频库的测试集分别对优化后的两种神经网络进行测试，得到表情情感识别混淆矩阵和姿态情感识别混淆矩阵；最后利用表情情感识别混淆矩阵和姿态情感识别混淆矩阵的先验知识，将对新输入的表情视频序列和姿态视频序列的两种模态的识别结果进行融合，得到双模态的情感分类结果。该方法采用3D卷积神经网络和双模态融合算法，避免了人工设计特征的主观性，克服了单模态情感识别的局限性，并能有效提高情感识别的准确性和鲁棒性。

技术领域

本发明属于机器学习与模式识别领域，涉及一种视频情感识别方法及系统，特别涉及一种基于3D卷积神经网络的双模态情感识别方法及系统。

背景技术

随着科学技术的高速发展，人类对计算机的依赖不断增强，人机交互能力受到研究者的重视。计算机科学发展的重要目标之一就是如何实现计算机的拟人化，这已经成为了该领域研究的一个热点问题。在人机交互中所需要解决的一个关键问题是实现计算机的情感识别能力。

情感识别能力是计算机智能的一个重要方面，它反映了计算机通过对获取的信息判断操作者或对话者的情感状态的能力。通过研究情感识别技术，让机器可以识别了解人的情感，人们就可以建立更加友好、和谐的人机交互环境。情感识别技术在人机交互、医疗、安全、教育以及娱乐等领域具有广阔的应用前景。随着情感识别技术研究的深入和计算机情感识别能力的不断提高，必将大大提高人类的生活质量。

目前，情感识别的研究很大一部分是针对面部表情、语音或脑电信号等单一模态进行的。相比单模态，两种或多种模态拥有更多的情感信息。人类也是通过多模态的方式来表达情感信息的。因此，深度挖掘和融合多种模态信号，是进一步提高情感识别性能的一种有效途径。

中国专利申请“一种复合时空特征的双模态视频情感识别方法”(专利申请号201611096937.9，公开号CN106529504A)，通过分别提取上身姿态样本和人脸表情样本的时空局部三值模式矩(TSLTPM)直方图特征和三维梯度方向(3DHOG)直方图特征，构成相应样本的上身姿态复合时空特征和人脸表情复合时空特征，最后使用D-S证据理论判决规则对复合时空特征测试集进行分类，得到情感识别结果。该方法采用人工设计的特征，特征提取过程较为繁琐，且复杂度较高，此外，在采用D-S证据理论判决规则进行融合时，会产生因基本概率分配函数的微小变化而导致融合结果截然不同的不稳定性，以及在处理完全冲突或高度冲突证据时产生有悖于常理的结果。

中国专利申请“基于表情和行为双模态结合的人类自然状态情感识别方法”(专利申请号201610654684.6，公开号CN106295568A)，采用两级分类模式的情感认知架构，首先将提取的人体躯干运动特征与事先建立的人体躯干运动特征库进行匹配比对，获得情感粗分类结果；然后，从事先建立的人脸表情特征库查找出与所提取的人脸表情特征相匹配的人脸表情特征，输出对应的情感细分类结果。该方法存在的最大问题是无法提取有效的人体躯干运动特征，以及难以建立有效的人体躯干运动特征库和人脸表情特征库。

发明内容

发明目的：针对现有技术的不足，本发明目的在于提供一种基于3D卷积神经网络的双模态情感识别方法及系统，通过强大的特征学习与分类能力，简化特征的提取，并提高情感识别的准确性和鲁棒性。

技术方案：本发明为实现上述发明目的采用以下技术方案：

一种基于3D卷积神经网络的双模态情感识别方法，包括以下步骤：

(1)同时获取每一个人的面部表情视频片段和身体姿态视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含情感类别标签的表情和姿态双模态情感视频库，并将双模态情感视频库的样本划分为训练集、验证集和测试集；