[发明专利]一种超分辨率面部表情识别方法

说明书

本发明公开了一种超分辨率面部表情识别方法，属于深度学习应用技术领域，包括如下步骤：步骤一：Cutblur图像预处理：将不同分辨率的图像色块互相填充，从而实现有针对性地对某一特征区域进行超分辨率识别；步骤二：三通道EDSR超分辨率：将经过Cutblur处理后的特征向量作为输入，经过三通道EDSR的网络的多次迭代，再对输出的图像特征进行加权，得到综合超分辨率特征值；步骤三：FER面部表情识别：将得到三通道加权后的超分辨率图像特征放入面部表情识别网络中进行面部特征提取与分类，得出实验结果。本发明与其他算法的分类结果进行对比，提升了面部表情识别的准确率，对面部表情识别的发展具有重要意义。

技术领域

本发明属于深度学习应用技术领域，具体涉及一种超分辨率面部表情识别方法。

背景技术

随着智能化时代的到来，面部表情作为计算机在研究人的行为方面的基础，逐渐在各个领域发展应用起来。通过识别面部表情判断当前人类的情感身体状态，从而得到与之相关的操作指令反馈到计算机的实时操作中，但由于在机器采样时对人脸采集的图像仅为实验室中的理想情况，即使已经考虑到光线、眼镜、遮挡等因素，实际生活中摄像头采集到的面部图像也达不到所需的识别尺寸，导致识别精度和准确率下降。因此针对这一现状，迫切需要设计一种面部表情识别算法来提升这种情况下面部表情识别的准确率，以满足实际使用的需要。

发明内容

本发明的目的在于提供一种超分辨率面部表情识别方法，以解决上述问题。

一种超分辨率面部表情识别方法，包括如下步骤：

步骤一：Cutblur图像预处理：将不同分辨率的图像色块互相填充，从而实现有针对性地对某一特征区域进行超分辨率识别；

步骤二：三通道EDSR超分辨率：将经过Cutblur处理后的特征向量作为输入，经过三通道EDSR的网络的多次迭代，再对输出的图像特征进行加权，得到综合超分辨率特征值；

步骤三：FER面部表情识别：将得到三通道加权后的超分辨率图像特征放入面部表情识别网络中进行面部特征提取与分类，得出实验结果。

优选的，在所述步骤一中：所述分辨率图像色块包括低分辨率图像色块x_LR∈R^W*H*C以及超分辨率图像色块x_HR∈R^W*H*C。

优选的，在所述步骤一中，所述CurBlur首先对低分辨率图像色块进行s倍的双三次插值，再通过剪切粘贴使低分辨率图像色块以及超分辨率图像色块相互填充，生成成对的训练样本，训练样本的计算公式如下所示：

在上述公式中：s是放大倍数，Μ∈{0，1}^sW*sH为二值Mask。

优选的，在所述步骤二中，将经过Cutblur处理后的特征向量作为输入信息T_1in、T_2in、T_3in，输入到三通道EDSR的网络中，再经过低分辨率特征提取块conv(s,n)得到提取后的特征T'_1in、T'_2in和T'_3in，计算公式如下所示：

T'_1in＝conv(s,n)T_1in；

T'_2in＝conv(s,n)T_2in；

T'_3in＝conv(s,n)T_3in；

在上述公式中：conv(s,n)代表卷积层，s和n分别是滤波器的大小和数目，然后便将这些特征进行残差块ResBlock多次迭代，所述迭代的计算公式如下：