[发明专利]基于尺度估计的人脸检测及对齐方法、装置、存储介质

说明书

本发明公开了一种基于尺度估计的人脸检测及对齐方法，将图片输入尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度图像；将多个尺度图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；将预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据检测框提取出对应的人脸特征点。本发明具有适应性强、对小尺度人脸有更高的检出的优点。

技术领域

本发明涉及视频监控及图像处理技术领域，特别涉及一种基于尺度估计的人脸检测及对齐方法、装置、存储介质。

背景技术

随着科技的快速发展,计算机视觉在社会生活中日渐流行,人脸检测及对齐技术便是其中的一个研究热点，在现实生活中有着众多应用，如刷脸门禁、手机解锁、安全监控、身份查验等等，人脸检测及对齐技术的应用给日常生活带来了较大的便利。在实际场景中，一幅图像可能同时包含不同尺度的人脸，例如小尺度与大尺度人脸，为了能够同时检测不同尺度的人脸，现有做法中，一是使用均匀分布的图像金字塔，在密集的金字塔图像上进行检测；二是设计一个大的网络在多尺度的特征图上进行检测。但是，这些方法具有计算复杂度高的缺点。此外，为了减少金字塔个数，有的检测技术中会使用尺度估计方法，而该方法在图像中存在多尺度人脸时，容易忽略小尺度的人脸，造成人脸漏检测的错误，给人脸检测的应用带来诸多不便。

发明内容

本发明要解决的技术问题是如何提供一种计算复杂度较低、不易忽略小尺度人脸的人脸检测及对齐的方法及装置。

为了解决上述技术问题，本发明的技术方案为：

一种基于尺度估计的人脸检测及对齐方法，包括步骤：

将图片输入至尺度估计网络，将尺度概率向量大于预设阈值的尺度输出；其中，所述尺度估计网络在训练时，根据人脸尺度对图像中的人脸预先分配注意力权重，以制作人脸注意力图；所述尺度估计网络在训练时的损失函数包括人脸注意力图的二分类损失；

将待检测的图像通过尺度估计网络获得的尺度进行缩放，获得多个尺度的图像；

将多个尺度的所述图像输入至anchor Pnet中，获得多个候选框，通过非极大值抑制算法去除非人脸候选框，获得预处理候选框；

将所述预处理候选框在原图上剪裁并缩放到预设大小，输入至anchor Rnet中，使用非极大值抑制算法去除冗余框得到检测框，并根据所述检测框提取出对应的人脸特征点。

优选地，所述尺度估计网络的训练包括：

人脸尺度向量标注：预设多个尺度区间，将人脸宽和高的均值作为人脸尺度，如存在属于一区间尺度的人脸，则分数向量上对应的分数置为1；如不存在属于此区间尺度的人脸，则分数向量上对应的分数置为0；

制作人脸注意力图：制作人脸掩模，并根据人脸尺度预分配注意力权重，预分配注意力权重的公式包括：

其中s为人脸尺度，σ与μ为概率分布参数；

使用尺度的多类二分类损失loss_s以及人脸注意力图的二分类损失loss_a作为损失函数，训练损失loss＝loss_s+λloss_a，其中λ为权重系数。

优选地，N_a表示尺度区间数量，p_n表示第n个尺度区间的标签，表示第n个尺度区间的估计结果。