[发明专利]基于尺度估计的人脸检测及对齐方法、装置、存储介质

权利要求书

1.一种基于尺度估计的人脸检测及对齐方法，其特征在于，包括步骤：

将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，所述尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；所述尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；

将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度的图像；

将多个尺度的所述图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；

将所述预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据所述检测框提取出对应的人脸特征点。

2.根据权利要求1所述的基于尺度估计的人脸检测及对齐方法，其特征在于，所述尺度估计网络的训练包括：

人脸尺度向量标注：预设多个尺度区间，将人脸宽和高的均值作为人脸尺度，如存在属于一区间尺度的人脸，则分数向量上对应的分数置为1；如不存在属于此区间尺度的人脸，则分数向量上对应的分数置为0；

制作人脸注意力图：制作人脸掩模，并根据人脸尺度预分配注意力权重，预分配注意力权重的公式包括：

其中s为人脸尺度，σ与μ为概率分布参数；

使用尺度的多类二分类损失loss_s以及人脸注意力图的二分类损失loss_a作为损失函数，训练损失loss＝loss_s+λloss_a，其中λ为权重系数。

3.根据权利要求2所述的基于尺度估计的人脸检测及对齐方法，其特征在于：N_a表示尺度区间数量，p_n表示第n个尺度区间的标签，表示第n个尺度区间的估计结果。

4.根据权利要求2所述的基于尺度估计的人脸检测及对齐方法，其特征在于：N_a表示所述人脸注意力图的像素数，q_n表示第n个像素的标签，表示第n个像素的估计结果。

5.根据权利要求1所述的基于尺度估计的人脸检测及对齐方法，其特征在于：anchorPnet及anchor Rnet的模型训练过程包括：

anchor Pnet训练：anchor Pnet为全卷积网络，预设不同比例的K个anchor，若anchor对应的预定义框与标注框的交并比值大于第一预设值则标记该anchor为正样本，同时参与分类与回归计算；若所述交并比值小于第二预设值，则认为负样本，只参与分类，不参与回归计算；若所述交并比值大于第二预设值且小于第一预设值，则样本不进行分类判断，只参与回归；训练时需同时对K个anchor进行分类与检测；

anchor Rnet训练：将anchor Pnet检测后的结果和标注框与预设的anchor来生成所需的训练数据，训练时同时进行任务，任务包括对预设的K个anchor进行人脸分类、边界框回归以及特征点定位。

6.根据权利要求1所述的基于尺度估计的人脸检测及对齐方法，其特征在于：在执行步骤：通过非极大值抑制算法去除非人脸候选框，以及执行步骤：使用非极大值抑制算法去除冗余框得到检测框时，

还包括局部极大必须覆盖数量为N_n的非极大的限制条件，其中，N_n为覆盖量阈值。

7.根据权利要求1所述的基于尺度估计的人脸检测及对齐方法，其特征在于，所述尺度估计网络包括特征提取模块、注意力辅助预测模块及预测模块；

所述特征提取模块，为全卷积网络，用于生成特征；

所述注意力辅助预测模块，将特征图反卷积为原图大小，用于学习人脸注意力图，学习人脸注意力特征；

所述预测模块，结合特征模块特征与人脸注意力特征来得到尺度概率向量，将尺度概率向量大于预设阈值的尺度输出。