[发明专利]一种结合人脸检测的人脸质量评估方法

说明书

本发明公开了一种结合人脸检测的人脸质量评估方法，输入待检测图片并进行特征提取；然后，提取不同尺度的特征进行多尺度特征融合；最后，网络进行多任务训练，分别输出人脸置信度、人脸框坐标、人脸质量，根据人脸置信度筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。本发明将人脸检测和人脸质量评估两个任务在同一个网络中实现，实现了多任务学习；有效节省了GPU显存，同时速度更快。

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种结合人脸检测的人脸质量评估方法。

背景技术

人脸识别模块是智能视频监控系统中的重要组成部分，基于监控视频的人脸识别技术面临许多挑战，例如监控环境中存在光照、背景等不断变化。且视频中的人是自由行动的，因此在监控视频中经过人脸检测采集到的人脸经常会存在因为光照或姿态或表情变化大，甚至由于运动而模糊等原因产生的低质量人脸图像。虽然目前很多方法被提出来以增强人脸识别算法对低质量图像的鲁棒性，但是很明显大多数识别算法在高质量的人脸图像上的，因此在人脸识别前需要进行人脸图像质量评估。

对经过人脸检测后得到的人脸图像进行质量评估即为人脸质量评估方法，常用于人脸识别算法之前对人脸图像进行过滤。人脸质量评估脱胎于图像质量评估方法，而图像质量评估从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score，MOS）或平均主观得分差异（Differential Mean OpinionScore，DMOS）表示。客观评估使用数学模型给出量化值，可以使用图像处理技术生成一批失真图像，操作简单，已经成为IQA研究的重点。与传统的图像质量方法不同的是，人脸质量评估不仅关注图像的分辨率、噪声、锐度等，还关注该人脸图像是否存在大角度的侧脸和比较夸张的表情等。

然而，传统的人脸质量评估方法是将人脸检测和人脸质量评估分为两步进行，当图像中人脸较多时，存在运行速度很慢的问题，同时两个模型的GPU显存占用也很高。另一方面，目前的图像质量评估方法只能够消除一些含有噪声、模糊等情况的人脸图像，而对于人脸识别，在注册人脸时需要是正脸、无表情、清晰、完整无遮挡的人脸图片，在识别时，往往高质量的图片更能提高识别准确度，一些较小侧脸、较小表情、轻微模糊的图像也能用于识别。这些是传统图像质量评估无法做到的。本发明将人脸质量分为9类，在人脸识别时可灵活选择人脸的类别进行注册或识别。

发明内容

本发明的目的在于提供一种结合人脸检测的人脸质量评估方法，本发明将人脸检测和人脸质量评估两个任务在同一个网络中实现，实现了多任务学习；有效节省了GPU显存，同时速度更快。

本发明主要通过以下技术方案实现：一种结合人脸检测的人脸质量评估方法，输入待检测图片并进行特征提取；然后，提取不同尺度的特征进行多尺度特征融合；最后，网络进行多任务训练，分别输出人脸置信度、人脸框坐标、人脸质量，根据人脸置信度筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。

为了更好的实现本发明，进一步的，在输入待检测图片之前设置先验框，根据输入图像的大小生成大小不同的先验框，以实现在原图中有多种大小的感受野以覆盖了常见人脸的大小；在不同的特征图设置不同大小的先验框，以提取多种尺度进行检测；在每一个像素点附近生成均匀分布的若干个先验框。

为了更好的实现本发明，进一步的，将先验框与真实目标进行匹配，匹配成功的先验框负责预测物体是人脸的概率和它的质量分类；首先将生成的所有的先验框与真实目标做IoU计算得出交并比IoU；然后，每一个真实目标分配一个最大IoU的先验框，确保每一个真实目标至少有一个先验框与之匹配；最后，为了解决正负样本不均衡的问题，将交并比IoU大于阈值的也分配给真实目标，增加正样本的数量。所述阈值可以设置为0.4。