[发明专利]基于深度学习先验的人脸表情识别方法

说明书

本发明基于深度学习先验的人脸表情识别方法，通过先使用带人脸面部动作单元标记的数据集CK+,对于其中每一幅图像I进行人脸检测，后对人脸图像I进行关键点定位、计算人脸旋转角度θ、人脸图像I逆向旋转得到人脸正面图像I1，接着对人脸正面图像I1进行剪切得到人脸图像I2，重复此过程得到数据集E，然后将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络，最后将得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。本发明通过对人脸面部标准化处理以及更深层的网络训练，使得识别过程更加稳定可靠。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习先验的人脸表情识别方法。

背景技术

人类面部行为是人类之间情感交流的最重要渠道之一，其所携带的情感信息可以被视觉感官直接接收和翻译，因此可以从人类面部行为了解一个人的心理状态和社会行为。因此在人与物或物与物之间交流时，如果物体能够模拟出人脸表情来表达自身情感，无疑会使人类和物体之间的差距缩短，加快信息的传递速度。

由于面部行为在人机交互方面的巨大潜力，近年来引起越来越多研究者的关注。对于面部行为大多数研究者采用面部表达类别和面部动作编码系统作为描述方式。对于面部表达类别，经常使用的面部表达类别是Ekman提出的六个基本类别(即愤怒，厌恶，恐惧，快乐，悲伤和惊讶)；但是到目前为止，还没有确定的完整表达类别用以实现。与表达类别不同，面部动作编码系统(FACS)仅描述了几种有限的面部行为，将面部行为描述为面部动作单元(AU)的组合，每个动作单元均与一组人脸面部肌肉的收缩相关，因此，FACS能够描述人类所有的面部行为，近年来研究者几乎都采用了面部动作编码系统(FACS)，但是往往获得的人脸面部动作单元稳定性较差，识别效果差。

发明内容

本发明的目的是提供一种基于深度学习先验的人脸表情识别方法，解决了现技术中存在的面部识别稳定性差、识别率不高的问题。

本发明所采用的技术方案是基于深度学习先验的人脸表情识别方法，具体按照以下步骤实施：

步骤1：使用带人脸面部动作单元标记的数据集CK+,对于其中每一幅图像I进行人脸检测；

步骤2：对步骤1中检测到的人脸图像I进行关键点定位；

步骤3：根据步骤2中定位之后的关键点计算人脸旋转角度θ，并根据旋转角度θ对人脸图像I进行逆向旋转，得到人脸正面图像I1；

步骤4：对步骤3得到的人脸正面图像I1进行二次检测，得到人脸左上角和右下角的坐标，并根据坐标对人脸正面图像I1进行剪切，得到人脸图像I2，并保存人脸图像I2；

步骤5：重复步骤1-4得到数据集E，将数据集E进行深度网络训练，得到能够准确预测人脸面部动作单元识别网络；

步骤6：将步骤5得到的人脸面部动作单元识别网络作为输出值，使用表情先验人脸面部动作单元序列对网络的输出进行人脸表情判别。

本发明的特点还在于：

步骤2关键点为5个关键点，分别为左眼El、右眼Er、鼻尖N、左嘴角Ol、右嘴角Or。

步骤3的人脸旋转角度θ具体计算过程如下：

其中，(x₁₁，y₁₁)，(x₁₂，y₁₂)，(x₂₁，y₂₁)，(x₂₂，y₂₂)分别表示El、Er、Ol、Or的坐标。

步骤5深度网络训练的具体过程如下：