[发明专利]用于提高视频中面部表情识别准确率的网络模型及方法

说明书

本发明提供一种用于提高视频中面部表情识别准确率的网络模型及方法，所述方法包括：输入初始视频图像，通过3D卷积网络进行特征提取；在所述3D卷积网络中融合AU感知注意力模块，通过AU感知注意力模块关注面部情感表达的重点区域，学习面部重点部位的特征；对得到的特征图通过胶囊网络进行编码，将增强的特征映射通过胶囊之间的动态路由进行编码；通过三个全连接层进行解码，通过非线性挤压函数实现最终的表情分类。本发明实现了更高精度的面部表情识别。

技术领域

本发明涉及面部表情识别技术领域，具体地，涉及一种用于提高视频中面部表情识别准确率的网络模型及方法。

背景技术

随着计算机科学的发展,面部表情识别技术(Facial Expression Recognition,FER)的在现实社会中有着越来越广泛的应用,比如有人机交互、视频情感分析、安全驾驶等。因此，面部表情识别技术一直以来都是计算机视觉的热点研究领域之一。针对视频中的面部表情识别问题，已有研究人员提出了许多解决方法，但因为不同人表达感情程度存在偏差以及视频复杂的时空特征,这些算法都有一定的局限性，如基于传统的计算机视觉算法提取手工设计的特征的方法操作复杂且鲁棒性太差，基于经典CNN的方法不能有效处理面部结构之间的特征关系，例如相对位置关系，相对大小关系，特征方向等，从而不能有效地关注面部情感表达的重点区域，导致识别效果差等问题。因此，在计算机视觉领域中，面部表情识别仍然是一个富有挑战性和具有很强应用性的问题。

在表情识别的研究中，深度学习方法也通常优于基于传统机器学习的手工特征提取算法，表现出了不错的性能：不仅有更强的特征提取能力，而且相对来说，深度学习对光照、姿态、遮挡物等干扰场景下的表情识别率更好。但是目前大多数面部表情识别的方法都使用传统卷积神经网络进行工作，仅集中于面部的特征表示，很少考虑面部运动单元(Action Unit，AU)之间的相对关系。虽然卷积神经网络擅长捕获特征的存在，但它们并不擅长探索特征之间的关系，例如相对位置关系，相对大小关系，特征方向等。此外，针对视频中的面部表情识别，普通的卷积神经网络也没有考虑视频的时间维度特征，由于这些问题的存在，从而导致现有面部表情识别方法识别效果差，鲁棒性不高。

发明内容

针对现有技术中的缺陷，本发明的目的在于提供一种用于提高视频中面部表情识别准确率的网络模型及方法，采用3D深度卷积网络和胶囊网络结合的方式来代替普通卷积神经网络，解决了传统卷积神经网络不能很好地处理视频的时空特征以及忽略了面部特征之间的相对位置关系的问题。

为解决上述问题，本发明的技术方案为：

一种用于提高视频中面部表情识别准确率的网络模型，包括基于胶囊网络的3D卷积网络模块及AU感知注意力模块，所述基于胶囊网络的3D卷积网络模块用于提取视频时间和空间序列信息的特征，所述AU感知注意力模块融合在所述3D卷积网络模块中，通过所述AU感知注意力模块关注面部情感表达的重点区域，学习面部重点部位的特征。

可选地，所述网络模型还包括将增强的特征映射通过胶囊之间的动态路由进行编码，通过三个全连接层进行解码，再通过非线性挤压函数实现最终的表情分类结果。

可选地，所述三个全连接层分别是两个带有ReLU激活函数的全连接层和一个带有Sigmoid激活函数的全连接层，所述非线性挤压函数定义为：其中v_j是胶囊j的输出向量，b_j是胶囊的输入向量。

进一步地，本发明还提供一种用于提高视频中面部表情识别准确率的方法，包括以下步骤：

输入初始视频图像，通过3D卷积网络进行特征提取；

在所述3D卷积网络中融合AU感知注意力模块，通过AU感知注意力模块关注面部情感表达的重点区域，学习面部重点部位的特征；

对得到的特征图通过胶囊网络进行编码，将增强的特征映射通过胶囊之间的动态路由进行编码；