[发明专利]基于深度特权网络的人脸表情识别方法及系统

权利要求书

1.基于深度特权网络的人脸表情识别方法，其特征在于，包括以下步骤：

获取人脸的面部表情图片，主网络通过输入面部表情图片，对面部表情图片进行预处理，得到预处理面部表情图片；

主网络学习预处理面部表情图片的人脸表情特征，得到人脸表情特征信息，通过人脸表情特征信息对人脸表情情绪进行情绪分类，得到情绪分类信息；

通过特权网络获取特权信息，使用特权信息对损失函数进行特权学习，进而优化主网络的参数，得到优化深度特权网络，具体为：根据不同的情况通过运动单元信息分为不同的特权学习优化主网络的参数，包括三种情况：第一种情况为调整主网络模型中的参数；第二种为监督模型特征学习；第三种为修正输出空间，损失函数表示如下：

其中，损失函数由三部分组成，分别由上述的三种类型相对应，其中λ_1i，λ_2i，λ_3i是根据概况而定的系数，分别为三种特权学习方式的损失函数；具体地：x为主网络的输入数据，为特权网络输入的特权信息，y为表情的标签；f_s(x)是主网络的一部分，而用于衡量特权信息x^*；f_p(x^*)为特权网络的识别结果，f(x)为主网络的识别情感类别标签，用于衡量三种标签之间的差别；

所述监督模型特征学习，具体为：通过函数L(x^*，f_s(x))监督主网络的特征学习，其中f_s(x)是主网络的一部分，而L(x^*,·)用于衡量特权信息x^*，输入的图像数据通过面部表情识别主网络来提取情感特征；提取面部的运动单元信息作为特权信息，利用特权网络来提取情感特征；将主网络的情感特征与特权网络的情感特征级联起来，识别输出表情标签y；

所述监督模型特征学习，为运动单元信息辅助输出的深度特权网络；

其中，主网络由三部分组成：整张脸特征提取流、上部分脸特征提取流、下部分脸特征提取流；其中，整张脸特征提取流用于提取整张脸的表情特征，上部分脸特征提取流和下部分脸特征提取流是分别对应上、下两部分的面部表情识别网络f_{s_upper}(·)、f_{s_lower}(·)提取脸部表情特征；f_{s_upper}(·)、f_{s_lower}(·)由两层卷积块组成的面部表情识别网络利用运动单元标签信息提取表情特征，用一层网络级联通过三路网络学习到的特征来预测情绪；

特权网络包括上半张脸的运动单元识别网络、下半张脸的运动单元识别网络，均是由三层卷积块组成的神经网络，提取对应脸部运动单元标签；上半张脸的运动单元识别网络、下半张脸的运动单元识别网络分别识别上、下半张脸的图像数据得到上下部分脸的运动单元信息upper_AU'、lower_AU'后，将运动单元信息作为中间输出，再输入到对应的主网络上下部分面部表情特征提取流中；

运动单元识别的损失函数如下所示：

其中AU'＝(au′₁,au′₂,...,au′_a)是通过网络f_s(·)预测出来的运动单元向量，ω_pos和ω_neg分别代表正负样本的权重；

用F_full表示整张脸的特征，F_upper、F_lower表示上、下半张脸经过面部表情识别提取后得到的特征，最后级联的三种特征用于预测情绪标签y'；

则有：运动单元的损失函数总共包括了面部表情分类的损失、上半张脸运动单元识别的损失和下半张脸运动单元识别的损失，其公式如下：

Loss_AOAU(y,y')＝β₁·cross_entropy(y,y')+β₂·Loss_AU(upper_AU,upper_AU')+β₃·Loss_AU(lower_AU,lower_AU')

其中upper_AU'、lower_AU'是由上下半张脸运动单元识别函数f_{s_upper}(·)、f_{s_lower}(·)预测出的运动单元标签，β₁，β₂，β₃是三种损失函数权重系数；

在优化后的主网络输入测试的面部表情图片，对测试的面部表情图片进行预处理，得到预处理的测试面部表情图片；

采用通过特权学习后的深度特权网络提取表情特征，实现情绪分类，得到人脸表情识别结果。