[发明专利]基于深度特权网络的人脸表情识别方法及系统

说明书

本发明公开了基于深度特权网络的人脸表情识别方法，包括以下步骤：主网络通过输入面部表情图片，并进行预处理，得到预处理面部表情图片；主网络学习其人脸表情特征，得到人脸表情特征信息，进而对人脸表情情绪进行情绪分类，得到情绪分类信息；通过特权网络获取特权信息，进而对损失函数进行特权学习，优化主网络的参数，得到优化深度特权网络；在主网络输入测试的面部表情图片，对测试的面部表情图片进行预处理；采用通过特权学习后的深度特权网络提取表情特征，实现情绪分类，得到人脸表情识别结果；本发明将人脸运动单元作为特权信息，对传统的深度网络进行训练以提取出有利于识别的表情特征，从而提高人脸情绪识别的准确度。

技术领域

本发明涉及表情识别的研究领域，特别涉及基于深度特权网络的人脸表情识别方法及系统。

背景技术

现有的人脸表情识别算法

面部表情是指通过脸部肌肉、眼部肌肉和口部肌肉的变换而表现出各种情绪状态。人类的六种主要感情：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、轻蔑可由对应的面部表情来体现。人脸表情识别是最直接、最有效的情感识别模式，面部表情识别(Facial expressionrecognition,FER)作为计算机辨别人类情绪状态的重要手段，具有很广阔的应用场景，例如人机交互、游戏体验。

面部表情识别的任务是从静态人脸图片或视频序列中选择出表情状态，将其分类到相应的情绪类别中，从而确定人的情绪与心理变化。现有的人脸表情识别基本有两种方法：一种是提取人工设计特征并使用分类器识别；另一种是通过深度网络学习端到端的特征。

其中基于卷积神经网络(Convolutional Neural Network,CNN)的识别框架在面部表情识别中取得了显著的效果，卷积神经网络可以区分面部整体或局部更高和多层次的特征，具有较好的面部图像特征的分类性能。

现有的卷积神经网络

卷积神经网络由于其端到端的高效学习框架和强大的图像特征提取能力，在处理面部表情图片方面具有很大的优势，被广泛应用与计算机视觉领域，尤其是人脸表情识别方面。卷积神经网络一般由卷积层、激活层、池化层和全连接层组成。卷积层通过使用局部过滤器集来提取图片各部分特征；激活层可以增加非线性度；池化层可以减小特征向量的尺寸，减少过拟合现象。组合多层卷积层、激活层、池化层，将低级特征转化成高级特征。最后，全连接层连接所有的特征以进行最终的分类。现有的卷积神经网络已经有一些非常经典的体系结构，例如VGG、GoogLeNet、ResNet等。

现有的基于面部动作单元的表情识别方法

人脸表情识别还可以通过面部动作编码系统(Facial Action Coding System,FACS)定义不同的脸部肌肉动作和不同表情的对应关系来实现。面部动作编码系统根据人脸的解剖学特点，将人脸划分成若干既相互独立又相互联系的动作单元(Action Unit,AU)。这些面部动作单元的运动特征及其所控制的区域可以反映出人脸表情。由于一些运动单元可以在同一张面部图像中同时出现，所以基于运动单元的识别方法是一种多标签分类的任务。运动单元识别通过搭建卷积神经网络训练运动单元样本后得到运动单元特征识别模型，然后用于运动单元特征识别与分类。基于运动单元的识别方法虽然与面部表情识别相似，但基于运动单元的识别更关注脸部区域和运动单元之间的关系。

现有的利用特权信息学习的方法

利用特权信息学习(Learning Using Privileged Information,LUPI)的方法是通过在训练过程中同时利用特权信息辅助网络进行训练。特权信息是一种辅助信息，提供样本的附加信息以便于模型学习，仅可用于训练阶段，在测试阶段不能获取。对于一些很难获取的信息只能在训练过程中收集，这样有助于学习到更好的模型。现已有一些研究将特权学习用于面部表情识别任务中，帮助学习面部表情，更新训练模型等。

现有技术的客观缺点：