[发明专利]基于深度学习多维度输出人脸质量评估方法与电子设备

权利要求书

1.一种基于深度学习多维度输出人脸质量评估方法，其特征在于，包括：

步骤1：准备训练数据集，Score训练集、Class训练集、Mask训练集、Pose训练集；所述4个训练数据集具体为：Score训练集：用于学习人脸图像清晰程度估计的训练集，数据集中的每张人脸图片对应一个标签，该标签是关于图像的清晰度评分值；Class训练集：该数据集包含“bad”、“good”两类人脸图片，“bad”类包括非常极端的人脸、不完整的人脸以及部分非人脸图片；“good”类包括正常人脸的图片，用于训练Class分支对人脸图像“bad”、“good”的分类能力；Mask训练集：该数据集包含“Mask”、“NoMask”两类人脸图像，“Mask”类包括人脸有遮挡的图像和戴口罩的人脸图像；“NoMask”类是正常的无遮挡无口罩的人脸图像，由于训练Mask分支对人脸图像是否有遮挡或是否戴口罩的分类能力；Pose训练集：回归预测人脸姿态角度的数据集，每一张人脸图片对应的标签是人脸姿态的三个角度值： Pitch、Yaw、Roll，用于训练Pose分支对人脸姿态角度预测的能力；

步骤2：训练网络模型，从所述四个训练集中各随机选取一部分图片合并为一个批次图片，送入到神经网络模型中，通过神经网络前向推理后得到四个分支的输出值，根据输入的图片来自哪个数据集来计算相应的分支的损失值，最后按照不同的权重相加每个分支的损失值得到总损失值，用于网络反向传播，更新网络参数；

步骤3：对待测的人脸图像进行预测，输入一张人脸图像，经过预处理后送入经过训练得到的神经网络模型进行前向推理，输出四个分支的预测值，最后按权相加四个分支的输出值得到最终的人脸质量综合评估分数。

2.如权利要求1所述的基于深度学习多维度输出人脸质量评估方法，其特征在于，所述步骤2中的四个分支包括：

Score输出分支：图像清晰程度估计分支，该分支回归预测一个关于人脸图像清晰程度的评分估计值，在(0,1)区间，图像清晰程度越高，该值越大，反之图像越模糊，该值越小；

Class输出分支：人脸图像“bad”、“good”二分类分支；“bad”类包括非常极端的人脸、不完整的人脸以及部分非人脸图片；“good”类包括正常人脸的图片；该分支用于对输入的人脸图像进行预测分类，得到一个属于“good”类的概率值，在(0,1)区间；

Mask输出分支：人脸图像“Mask”、“NoMask”二分类分支；“Mask”类包括人脸有遮挡的图像和戴口罩的人脸图像；“NoMask”类是正常的无遮挡无口罩的人脸图像；该分支用于预测人脸是否有遮挡和是否戴口罩，输出一个属于“NoMask”类的概率值，概率值越大，表示人脸被遮挡或戴口罩的可能性越小；

Pose输出分支：人脸姿态估计分支，该分支预测人脸的姿态角度，有三个输出值，分别对应人脸的三个欧拉角： Yaw、Pitch、Roll，这三个角度的取值范围是(-100,100)度，不考虑超出这个范围的人脸。

3.如权利要求1或2所述的基于深度学习多维度输出人脸质量评估方法，其特征在于，所述步骤2中四个分支的总损失值计算如下：

Loss＝α₁L_score+α₂L_class+α₃L_mask+α₄L_pose

上述中，Loss表示总损失值，L_score、L_class、L_mask、L_pose分别表示四个分支的损失值，α₁、α₂、α₃、α₄是四个分支损失值对应的权重。