[发明专利]一种基于深度时空特征的高精度面部表情识别方法

权利要求书

1.一种基于深度时空特征的高精度面部表情识别方法，其特征在于，该方法的具体步骤如下：

步骤A，构建多通道卷积神经网络MCCNN模型；

步骤B，对公开的人脸表情数据库中的图像集I_raw进行人脸检测和配准处理，获得配准后的人脸表情图像集I_face；

步骤C，对步骤B得到的I_face中的中性脸图像进行分组，并对每组中的图像进行求和平均，得到相应的平均脸图像集I_mean；其中，分组的方法为：首先根据不同肤色进行分组，然后在按肤色分组的基础上根据不同性别进行分组，最后在按性别分组的基础上根据不同年龄进行分组；

步骤D，利用基于梯度的光流算法求出步骤B得到的I_face中的图像相对于步骤C中得到的I_mean中对应平均脸图像的X、Y方向的光流特征图像I_ofx、I_ofy；

步骤E，利用大规模目标识别图像数据库对MCCNN模型进行预训练，获得MCCNN模型的预训练参数；

步骤F，利用步骤B中得到的I_face以及步骤D中得到的I_face对应的I_ofx、I_ofy，对步骤E中预训练完成的MCCNN模型进行迁移学习；

步骤G，通过步骤F中迁移学习完成的MCCNN模型进行表情识别，最后用测试图像进行测试。

2.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤A中构建多通道卷积神经网络MCCNN模型为：

A.1，MCCNN模型包含三通道输入、63层网络以及一个输出，其中，三通道输入分别用于输入表情脸图像、X方向光流特征图像和Y方向光流特征图像；

A.2，63层网络的前60层为分别对应三通道输入的三路独立并行的卷积神经网络，每路卷积神经网络均为20层且网络结构完全一致，用于提取三通道输入的深度时空特征；第61、62层是全连接层，用于对前级网络提取的三通道输入的深度时空特征进行融合；最后一层为softmax层，用于输出分类结果；

A.3，每路卷积神经网络的前4层分别是7×7核的卷积层、3×3的最大值池化层、1×1核的卷积层以及3×3核的卷积层；后16层由4个融合卷积模块组成，每个融合卷积模块分别有4层，分别是3×3最大值池化层、并行的4个卷积层、并行的3个卷积层以及融合卷积层，其中，并行的4个卷积层的卷积核分别为1×1、1×1、1×1和3×3，并行的3个卷积层包含3×3核卷积、5×5核卷积、3×3最大值池化。

3.根据权利要求2所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，A.2中softmax层的输出结果分为6类：高兴、惊讶、厌恶、愤怒、恐惧、悲伤。

4.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤B具体为：首先，利用人脸检测器，对公开的人脸表情数据库中的图像集I_raw中的所有图像进行人脸检测，截取人脸区域；然后，利用人脸关键点进行人脸配准处理，得到配准后的人脸表情图像集I_face。

5.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤C具体为：首先，将I_face中的中性脸图像根据黄、白、黑三种肤色分为3组；然后，根据男、女性别将已分3组的图像进一步分为6组；再后，根据老、中、青、幼四种年龄将已分6组的图像进一步分为24组；最后，分别对24组图像使用求和平均法，求得每组的平均脸，得到平均脸图像集I_mean。

6.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤E中利用ImageNet数据集中1000类图像，对MCCNN模型进行目标分类训练，获得MCCNN模型的预训练参数。

7.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤G中用测试图像进行测试具体为：首先，将用于测试的人脸图像I_test进行检测和配准处理后得到配准后的图像I_tface；然后，利用基于梯度的光流算法求出I_face相对于其对应平均脸图像的X、Y方向的光流特征图像It_ofx、It_ofy；最后，将I_tface、It_ofx、It_ofy输入到步骤F中迁移学习完成的MCCNN模型，从而得到I_test的表情类别。