[发明专利]用于提高视频中面部表情识别准确率的网络模型及方法

权利要求书

1.一种用于提高视频中面部表情识别准确率的网络模型，包括基于胶囊网络的3D卷积网络模块及AU感知注意力模块，所述基于胶囊网络的3D卷积网络模块用于提取视频时间和空间序列信息的特征，所述AU感知注意力模块融合在所述3D卷积网络模块中，通过所述AU感知注意力模块关注面部情感表达的重点区域，学习面部重点部位的特征。

2.根据权利要求1所述的用于提高视频中面部表情识别准确率的网络模型，其特征在于，所述网络模型还包括将增强的特征映射通过胶囊之间的动态路由进行编码，通过三个全连接层进行解码，再通过非线性挤压函数实现最终的表情分类结果。

3.根据权利要求2所述的用于提高视频中面部表情识别准确率的网络模型，其特征在于，所述三个全连接层分别是两个带有ReLU激活函数的全连接层和一个带有Sigmoid激活函数的全连接层，所述非线性挤压函数定义为：其中v_j是胶囊j的输出向量，b_j是胶囊的输入向量。

4.一种用于提高视频中面部表情识别准确率的方法，其特征在于，所述方法包括以下步骤：

输入初始视频图像，通过3D卷积网络进行特征提取；

在所述3D卷积网络中融合AU感知注意力模块，通过AU感知注意力模块关注面部情感表达的重点区域，学习面部重点部位的特征；

对得到的特征图通过胶囊网络进行编码，将增强的特征映射通过胶囊之间的动态路由进行编码；

通过三个全连接层进行解码，通过非线性挤压函数函数实现最终的表情分类。

5.根据权利要求4所述的用于提高视频中面部表情识别准确率的方法，其特征在于，所述输入初始视频图像，通过3D卷积网络进行特征提取的步骤具体包括：通过改进的3DResNet卷积神经网络从视频轨道中提取时空特征，视频轨道被划分为连续的非重叠小片段，并且每个小片段包含N帧。

6.根据权利要求5所述的用于提高视频中面部表情识别准确率的方法，其特征在于，所述输入初始视频图像，通过3D卷积网络进行特征提取的步骤具体还包括：在提取特征时，为了获取空间维度和时间维度中的特征依赖关系，使用非局部注意力块直接计算时间位置和空间位置之间的关系。

7.根据权利要求4所述的用于提高视频中面部表情识别准确率的方法，其特征在于，所述在所述3D卷积网络中融合AU感知注意力模块，通过AU感知注意力模块关注面部情感表达的重点区域，学习面部重点部位的特征的步骤具体包括：在构建注意力图时，首先找出关键面部地标，通过关键面部地标定义AU中心，获得AU中心后，基于中心位置构建注意力图。

8.根据权利要求4所述的用于提高视频中面部表情识别准确率的方法，其特征在于，所述对得到的特征图通过胶囊网络进行编码，将增强的特征映射通过胶囊之间的动态路由进行编码的步骤具体包括：通过AU注意力约束获得的特征被送入到胶囊网络的PrimaryCaps层，对于PrimaryCaps层胶囊，被激活的胶囊进行位置信息编码，DigitCaps层采用每个胶囊活动向量的长度代表出现的每个类别的概率，并用于计算分类损失，在PrimaryCaps层和DigitCaps层之间每个胶囊接收来自前一层胶囊的输入，网络执行动态路由一致性算法。

9.根据权利要求8所述的用于提高视频中面部表情识别准确率的方法，其特征在于，所述通过三个全连接层进行解码，通过非线性挤压函数函数实现最终的表情分类的步骤具体包括：将DigitCaps层后面连接三个全连接层用于图像重建，所述三个全连接层分别是两个带有ReLU激活函数的全连接层和一个带有Sigmoid激活函数的全连接层。

10.根据权利要求9所述的用于提高视频中面部表情识别准确率的方法，其特征在于，所述通过三个全连接层进行解码，通过非线性挤压函数函数实现最终的表情分类的步骤中，所述非线性挤压函数函数定义为：其中v_j是胶囊j的输出向量，b_j是胶囊的输入向量，通过所述非线性挤压函数得到最终的表情类别的预测概率。