[发明专利]一种基于AU共生关系约束的自然场景下面部表情识别方法

说明书

本发明公开了一种基于AU共生关系约束的自然场景下面部表情识别方法，属于数字图像处理及计算机视觉技术领域，该方法包括：人力啊图像序列的AU获取；AU识别网络的训练；基于AU的表情识别模型的训练。具体涉及基于AU共生关系约束的自然场景下面部表情识别方法。本发明通过利用解剖学研究成果，将人脸表情识别过程中对整张人脸图像的特征提取替换为对人脸图像的局部AU特征提取，极大的减少了特征提取的工作，并且减少了无关面部特征对表情识别的影响；利用AU间共生关系以及AU与表情之间的共生关系作为识别模型训练过程的约束项，相比以往单纯利用数据进行识别模型的训练更加合理化。

技术领域

本发明属于数字图像处理及计算机视觉技术领域，具体涉及基于AU共生关系约束的自然场景下面部表情识别方法。

背景技术

情感在人们的日常生活中扮演了极其重要的角色，它反映了人们思想活动与内心感受，并且能进一步影响人们的行为反应。在人类情感的多种表达形式中，面部表情在传达人们自身的情感与心理感受方面起到了重要作用。将人类情感的认知用于人机交互中，有利于提升人机交互自然性，提高对自然人的服务能力，在智能服务机器人、教育、社会安全和游戏娱乐等领域都具有广泛的应用前景。然而，由于自然场景下所捕获情感数据的多样性，情感计算至今仍然是一个难点问题。因此研究无约束表情识别仍然具备重要的研究意义。

Action Units(AU)是描述人脸肌肉运动的基本单元，不同的AU组合在一起形成了不同的人脸面部表情。共生表示的是两个或多个领域实例之间同时出现或发生的情况。共生关系反映了不同领域之间潜在的关联关系。通过现有的科研成果证明这些领域之间的共生关系对其中的单个领域的识别问题有重要的帮助。

卷积神经网络(Convolutional Neural Network，CNN)是一种深度前馈人工神经网络，因为CNN避免了对图像的复杂前期处理，从而在图像识别领域得到了广泛的应用。2DCNN常用于图像以及图像类文本的识别；3DCNN由于能够捕捉时空信息，所以主要应用于视频类数据以及医学影像数据的识别。

高斯过程模型(GP)近些年在机器学习领域备受关注，在大量的科研工作中，GP模型显现出了许多优势：它是在统计学的基础上，基于完全贝叶斯公式实现的，所以其结果具有良好的概率解释；另外，相较于传统的机器学习模型，GP能够直接完成多分类任务。

发明内容

本发明的目的在于提供基于AU共生关系约束的面部表情识别方法，所述的基于AU共生关系约束的面部表情识别方法要改善现有AU识别准确率不高，自然场景下表情识别准确率不高的现状。

为了实现上述目的，本发明采用以下技术方案：一种基于AU共生关系约束的自然场景下面部表情识别方法，该方法的实现过程如下：

首先，人脸表情识别的原始图像数据为视频序列数据，针对数据特点以及AU识别的需求对人脸视频序列数据进行分割预处理；然后，利用预处理得到的数据训练AU识别网络，并在训练过程中加入AU间共生关系约束；最后，将AU识别网络得到的识别结果作为表情分类器的输入，并在表情分类器的训练过程中加入AU与表情的共生关系约束。该方法具体包括以下步骤：

步骤1，人脸图像序列的AU获取。

步骤1.1，读取人脸图像序列，对序列中的每张图片进行人脸特征点定位。

步骤1.2，根据定位到的人脸特征点，得到AU的位置。

步骤1.3，依据AU位置信息从人脸图片中分割出AU图片序列数据。

步骤2，AU识别网络的训练。

步骤2.1，将步骤1得到的AU图片序列数据作为训练数据训练AU识别网络。

步骤2.2，利用AU间共生关系调整AU识别损失。

步骤3，基于AU的表情识别模型的训练。