[发明专利]一种超分辨率面部表情识别方法

权利要求书

1.一种超分辨率面部表情识别方法，其特征在于：包括如下步骤：

步骤一：Cutblur图像预处理：将不同分辨率的图像色块互相填充，从而实现有针对性地对某一特征区域进行超分辨率识别；

步骤二：三通道EDSR超分辨率：将经过Cutblur处理后的特征向量作为输入，经过三通道EDSR的网络的多次迭代，再对输出的图像特征进行加权，得到综合超分辨率特征值；

步骤三：FER面部表情识别：将得到三通道加权后的超分辨率图像特征放入面部表情识别网络中进行面部特征提取与分类，得出实验结果。

2.根据权利要求1所述的一种超分辨率面部表情识别方法，其特征在于：在所述步骤一中：所述分辨率图像色块包括低分辨率图像色块x_LR∈R^W*H*C以及超分辨率图像色块x_HR∈R^W*H*C。

3.根据权利要求2所述的一种超分辨率面部表情识别方法，其特征在于：在所述步骤一中，所述CurBlur首先对低分辨率图像色块进行s倍的双三次插值，再通过剪切粘贴使低分辨率图像色块以及超分辨率图像色块相互填充，生成成对的训练样本，训练样本的计算公式如下所示：

在上述公式中：s是放大倍数，Μ∈{0，1}^sW*sH为二值Mask。

4.根据权利要求3所述的一种超分辨率面部表情识别方法，其特征在于：在所述步骤二中，将经过Cutblur处理后的特征向量作为输入信息T_1in、T_2in、T_3in，输入到三通道EDSR的网络中，再经过低分辨率特征提取块conv(s,n)得到提取后的特征T′_1in、T′_2in和T′_3in，计算公式如下所示：

T'_1in＝conv(s,n)T_1in；

T'_2in＝conv(s,n)T_2in；

T'_3in＝conv(s,n)T_3in；

在上述公式中：conv(s,n)代表卷积层，s和n分别是滤波器的大小和数目，然后便将这些特征进行残差块ResBlock多次迭代，所述迭代的计算公式如下：

T_1out＝f_Res(T'_1in)；

T_2out＝f_Res(T'_2in)；

T_3out＝f_Res(T'_3in)。

5.根据权利要求4所述的一种超分辨率面部表情识别方法，其特征在于：将三通道得到的图像特征进行加权，得到综合的超分辨率特征值T_out，计算公式如下所示。

T_out＝T_1out+μ₁T_2out+μ₂T_3out；

在上述公式中：其中μ为权重。

6.根据权利要求5所述的一种超分辨率面部表情识别方法，其特征在于：在步骤三中，在得到三通道加权后的超分辨率图像特征之后，CTE-FER将图像特征放入面部表情识别网络中进行面部特征提取与分类，计算公式如下所示：

I_o＝f_SMFER(T_out)；

在上述公式中：f_SMFER表示面部表情网络。