[发明专利]两阶段多尺度自适应的低分辨率人脸识别方法及应用

权利要求书

1.一种两阶段多尺度自适应的低分辨率人脸识别方法，其特征是按如下步骤进行：

步骤1、对高分辨率人脸数据库和真实的低分辨率人脸图像数据库分别进行预处理：

步骤1.1、对于高分辨率人脸数据库的预处理：

使用MTCNN神经网络算法对所述高分辨率人脸数据库中的N张高分辨率人脸图像进行人脸检测与矫正，并将尺寸裁剪到输入尺寸，从而得到归一化后的高分辨率人脸图像数据库；

将归一化后的高分辨率人脸图像数据库中的任意一个高分辨率样本记为I_h，其标签的类别记为y，且y∈{1,2,…,Y}，Y表示总的类别数，通过双三次插值法对I_h进行下采样，得到四种低分辨率样本后上采样回到原始输入尺寸，从而得到合成的四种低分辨率样本由构成一组合成的人脸图像，从而得到合成的人脸数据库D_s；

步骤1.2、对于真实的低分辨率人脸图像数据库的预处理：

通过双三次插值法将真实的低分辨率人脸图像数据库中的M张图像尺寸裁剪到输入尺寸，并裁剪后的任意一个低分辨率样本记为I_rl，其标签的类别为y_rl，由{I_rl,y_rl}构成一组真实的低分辨率人脸图像，从而得到真实的低分辨率人脸图像数据库D_r；

步骤2、基于ResNet-50网络构建高分辨率表征学习网络F_h，低分辨率表征学习网络F_l和动量网络F_m；

所述ResNet-50网络包括输入层、B个堆叠块和输出层，其中，输入层包括卷积层、实例正则化层、ReLU激活函数、最大池化层，B个堆叠块均由连接的B个残差块构成，每个残差块由卷积层、实例正则化层、ReLU激活函数组成，输出层包括平均池化层和全连接层；

令高分辨率表征学习网络F_h中的所有卷积层、全连接层均使用高斯分布进行权值初始化；

步骤3、预训练高分辨率表征学习网络F_h：

步骤3.1、所述合成的人脸数据库D_s中任意一个高分辨率样本I_h输入到高分辨率网络F_h中进行处理，得到对应的高分辨率表征r_h；

利用式(1)建立针对高分辨率样本基于加性角边距的人脸识别损失函数L_Arc：

式(1)中，θ_j表示r_h和类别为j对应的最后一个全连接层的权值之间的角度；m是类别附加的角间隔；θ_y表示r_h和类别为y对应的最后一个全连接层的权值之间的角度；表示对于所述合成的人脸数据库D_s中所有高分辨率表征计算损失函数并求和；

步骤3.2、使用SGD方法对高分辨率网络F_h进行预训练，并计算所述损失函数L_Arc用于更新网络参数，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到训练后的高分辨率网络F′_h及其最优参数；

利用训练后的高分辨率网络F_h′的最优参数对低分辨率网络F_l的网络参数进行初始化；

步骤4、使用两阶段的方式训练初始化后的低分辨率网络F_l，并利用训练后的低分辨率网络F_l″对待测的低分辨率人脸图像进行表征提取：

步骤4.1、多尺度的蒸馏阶段：

步骤4.1.1、所述合成的人脸数据库D_s中任意一个高分辨率样本I_h输入到训练后的高分辨率网络F_h′中，并分别从B个堆叠块的B个输出和输出层的输出中取出特征，相应得到B个尺度的高分辨率特征图和高分辨率表征r′_h；表示第i个堆叠块输出的第i个尺度的高分辨率特征图；

将I_h对应的合成的4种低分辨率样本分别输入初始化后的低分辨率网络F_l中，并分别从B个堆叠块的B个输出和输出层的输出中取出特征，相应得到四种B个尺度的低分辨率特征图和四种低分辨率表征，并将其中一种B个尺度的低分辨率特征图和一种低分辨率表征分别记为和r_l；表示第i个堆叠块输出的一种第i个尺度的低分辨率特征图；

步骤4.1.2、利用式(2)建立针对低分辨率样本的基于加性角边距的人脸识别损失函数L′_Arc：

式(2)中，θ′_j表示r_l和类别为j对应的最后一个全连接层的权值之间的角度；θ′_y表示r_l和类别为y对应的最后一个全连接层的权值之间的角度；表示对于合成的人脸数据库D_s中所有低分辨率表征计算损失函数并求和；

步骤4.1.3、利用式(3)建立像素值误差的损失函数L_PVE：

式(3)中，表示遍历所有的高、低分辨率的B个尺度的特征图进行求和，表示遍历所有的高、低分辨率的表征进行求和，||·||₂表示L2范数；

步骤4.1.4、将高分辨率和四种低分辨率下的特征图中的任意一个特征图f∈R^h×w×c经过重塑操作R后，得到一个二维向量R(f)∈R^hw×c；h,w,c分别表示特征图的高度、宽度和通道维度；

利用式(4)建立亲和矩阵A(f)：

式(4)中，σ是softmax函数，矩阵乘法，T是矩阵的转置；

利用式(5)建立亲和矩阵蒸馏的损失函数L_AMD：

式(5)中，||·||₁表示L1范数；

步骤4.1.5、所述高分辨率表征r′_h所对应的高分辨率样本I_h所在的一个小批量数据中，将相同类别的低分辨率表征记为r_l⁺，不同类别的低分辨率表征为r_l^-，并构成正匹配{r′_h,r_l⁺}代表联合分布p(r′_h,r_l)中的样本，构成负匹配{r′_h,r_l^-}代表边际分布p(r′_h)(r_l)中的样本；

利用式(6)建立互信息最大化的损失函数L_MIM：

式(6)中，ρ代表softplus操作；E表示期望；

步骤4.1.6、利用式(7)构建第一阶段的总的目标函数L_Stage1：

式(7)中，和均为权重因子；

步骤4.1.6、使用SGD方法对初始化后的低分辨率网络F_l进行第一阶段训练，并计算所述损失函数L_Stage1，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到第一阶段训练后的低分辨率网络F_l′及其最优参数；

步骤4.2、多分辨率的聚类阶段：

步骤4.2.1、利用第一阶段训练后的低分辨率网络F_l′的最优参数对所述动量网络F_m进行参数初始化；

利用式(8)建立一个用于保存四种低分辨率的表征的键存储器K和一个用于保存相应标签的类别存储器C：

式(8)中，L是存储库的长度；分别表示键存储器K中第n个四种低分辨率的表征，c_n表示类别存储器C中第n个标签；

所述合成的人脸数据库D_s中随机抽取L个样本，其中任意样本I_h的四种低分辨率样本输入到第一阶段训练后的低分辨率网络F_l′，相应得到低分辨率网络F_l′输出的四种低分辨率表征将四种低分辨率表征存入键存储器K中，将表征对于的标签存入类别存储器C中；

步骤4.2.2、所述L个样本中样本I_h的四种低分辨率样本分别输入到第一阶段训练后的低分辨率网络F_l′和初始化后的动量网络F_m中，相应得到低分辨率网络F_l′输出的四种低分辨率表征和动量网络F_m输出的四种低分辨率表征依次将中任意一个表征当作锚点，令锚点的正对是动量网络F_m输出的不同分辨率下的表征和键存储器K中相同类别的四种低分辨率下的表征K⁺；其中，表示动量网络F_m输出的除外的任意一个表征，锚点的负对是键存储器K中不同类别的四种低分辨率下的表征K^-；

利用式(9)-式(11)建立多分辨率损失函数L_Stage2：

式(9)-式(11)中，表示合成的低分辨率表征，R_l表示合成的低分辨率人脸图像表征集，包含四种低分辨率表征；τ是温度参数；表示键存储器K中第n个的第u种分辨率的表征，是动量网络F_m输出的第s种分辨率表征，表示键存储器K中第t个的第s种分辨率的表征；1_u≠v表示u和v是否相同，若相同，则令1_u≠v＝1，否则，令1_u≠v＝0；表示c_n和y是否相同，若相同，则令否则，令1_s≠v表示s和v是否相同，若相同，则令1_s≠v＝1，否则，令1_s≠v＝0；S^v表示锚点和所有正对和负对的低分辨率表征计算相似度的和；

步骤4.2.3、使用SGD方法对第一阶段训练后的低分辨率网络F_l′进行第二阶段训练，并计算所述损失函数L_Stage2，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到第二阶段训练后的低分辨率网络F_l″；

步骤4.2.4、将动量网络F_m输出的四种分辨率的表征和标签y分别存入键存储器K和类别存储器C中以更新动态队列；

利用式(12)更新初始化后的动量网络F_m的网络参数θ_m，得到更新后的网络参数θ′_m：

θ′_m＝λθ_m+(1-λ)θ_l(12)

式(12)中，θ_l是低分辨率网络F_l″的参数，λ是动量系数；

步骤4.3、对于真实的低分辨率人脸图像的微调：

步骤4.3.1、所述真实的低分辨率人脸图像数据库D_r中任意一个低分辨率样本I_rl输入到第二阶段训练后的低分辨率网络F_l″中，得到低分辨率表征并在新的键存储器中保存，在新的类别存储器保存标签y_rl，其中，k′_n表示键存储器K′中第n个低分辨率的表征；c′_n表示类别存储器C′中第n个标签，，将表征当作新的锚点，令的正对为的负对为

利用式(13)建立真实低分辨率的对比损失函数L′_Stage2：

式(13)中，表示真实的低分辨率表征，表示真实的低分辨率人脸图像表征集；k′_s表示键存储器K′中第s个低分辨率的表征；

步骤4.3.2、使用SGD方法对第二阶段训练后的低分辨率网络F_l″进行微调，并计算所述损失函数L′_Stage2，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到最优低分辨率网络F_l^*；

步骤4.4、利用最优低分辨率网络F_l^*对待测试的低分辨率人脸图像进行处理，得到低分辨率人脸图像的表征，并与成对的人脸图像进行特征匹配以实现人脸验证，或者将待测试的低分辨率人脸图像与数据库的人脸图像进行特征匹配，以实现人脸识别。