[发明专利]基于深度学习的多角度人脸表情识别方法

说明书

本发明涉及一种基于深度学习的多角度人脸表情识别方法，将采集到的原始图像进行预处理：对表情区域进行定位、裁剪；人脸表情图像特征提取：将经过预处理的图像，输入到VGGNet深度神经网络模型对人脸表情图像进行特征提取，得到特征图，将特征图输入到4层全连接层的神经网络进行训练；人脸表情分类：将训练后得到表情采用Softmax层对图像进行分类，确定最终表情。本发明使用VGGNet卷积神经网络对表情图像的深层特征进行提取，将提取到的特征输入到拥有4个全连接层的神经网络中进行训练，本发明从损失值、准确率、查准率、查全率，通过实验结果说明本发明具有较高的识别率，进而提高人脸识别准确率、以及算法的鲁棒性。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度学习的多角度人脸表情识别方法。

背景技术

人脸表情活动是人们日常生活交流中重要的一个环节。随着时代的发展，人脸表情识别成为了当前计算机视觉领域的研究热点之一，目前在现代医学、驾驶员状态监测、视频图像分析等方面有着广泛的应用。尽管人脸表情识别得到众多研究者的关注，但距离实际应用还有许多技术难题。其中由于头部偏转造成的非正面人脸表情识别成为表情识别研究中的重点和难点。

传统面部表情识别方法有多种，包括光流法、主动外观模型(AAM)、线性判别分析法(LDA)、局部二值模式(LBP)、Gabor等方法。有研究者采用光流法和LDA相结合的方法进行表情识别，先计算中性表情图像与其他表情图像之间的光流特征，再用高斯LDA对光流特征进行映射，最后采用支持向量机(SVM)对人脸表情进行分类。有研究者针对LBP算法提取表情特征不够丰富细致等问题，提出一种使用结构张量和LBP相结合方法进行面部表情识别，首先提取表情图像的人脸显著性区域得到显著图，在显著图上进一步提取表情的特征，使用SVM对表情进行分类，实验在表情数据库JAFFE和CK+上的识别率分别为97.1％和94.3％。有研究者利用姿态位置相关的AAM来提取脸部关键点周围的局部特征，在BU-3DFE表情数据库上进行实验，准确率为74.1％。有研究者提取LBP特征和梯度方向直方图特征进行融合，使用主成分分析(PCA)降低融合后的特征维数，实验在CK+和JAFFE表情数据库上进行，识别准确率分别为98.3％和90％。有研究者提出时空方向的LBP特征与Gabor直方图特征相结合的人脸表情识别方法，实验取得了很好的识别效果。

传统的人脸表情识别技术需要在人脸图像上对关键特征点定位，这就造成了一定的主观性，如果所提取到的特征缺乏分类所需要的表征能力，会对模型准确性造成较大的影响。

近年来，深度学习方法不断发展，逐渐受到科研人员的的关注，在面部表情识别领域中取得了不错的成果。常用的深度学习网络模型有卷积神经网络(CNN)，循环神经网络(RNN)，生成对抗网络(GAN)、自编码网络(AE)等。有研究者针对当前人脸表情识别多数使用正面的人脸图像的现状，基于GAN模型通过利用不同的姿态和表情，同时进行人脸图像合成和位置不变的人脸表情识别。有研究者提出一个新方法叫De-expression Residuelearning(DeRL)，给定任意的面部图像，由生成对抗网络(GAN)生成对应的中性表达，这样被去除掉的信息记录在网络中，再将学习到的信息和中性表情组合，就生成一个面部表情。该方法通过学习去除掉的表情信息部分来识别面部表情，在BU-3DFE和BP4D+两个数据集上进行实验，准确率分别为84.17％和81.39％。有研究者针对现有表情识别方法没考虑表情和身份之间的关系，导致算法的鲁棒性不高的问题，对GAN进行改进，提出一种WGAN(Wasserstein generative adversarial net)的人脸图像生成网络，该网络能够对遮挡图像进行补全，使用VGGNet网络对补全的图像能够提取出与用户身份无关的表情特征，实验在CK+、JAFFE、Multi-PIE表情数据库上进行，准确率能达到90％。但在大角度人脸偏移的情况下，算法的鲁棒性以及人脸表情识别的准确率还有待提高。

发明内容

发明目的：