[发明专利]一种基于多任务学习的实时人脸检测及头部姿态估计方法

说明书

本发明涉及一种基于多任务学习的实时人脸检测及头部姿态估计方法，用于解决头部姿态估计模型在同时估计多人头部姿态时的低效性，以及存在大量冗余计算的问题。具体包括特征提取网络以及四个支路组成，特征提取网络用于提取输入图片的4个不同层级的语义信息，每个层级的语义信息送入到对应支路当中。每个支路用于对不同层级的语义信息进行人脸检测及头部姿态估计，四条支路输出结果即为最终的人脸检测及对应的头部位姿估计结果。同时设计了多任务损失函数来评判模型的收敛，包含人脸检测的损失及头部姿态估计损失两部分。本发明在估计多人头部姿态时，效率有了巨大的提升。

技术领域

本发明涉及图像处理和深度学习领域，尤其是面向人脸检测及头部姿态估计任务。

背景技术

人脸检测及其属性分析一直以来都是计算机视觉领域一个关键性的挑战。许多前辈提出了许多优秀的方法来解决这些任务。以下将从人脸检测、头部姿态评估及多任务学习这三个方面来回顾一下以往的方法。

人脸检测：

人脸检测是找出图像中人脸的位置，是目标检测任务的一个细化的分支。早期的人脸检测算法使用了通过模板匹配的方法，采用一个人脸模板与待检测图像的各个位置进行对比，确定此处是否有人脸，如Rowley提出的。Viola和jones提出了使用简单的haar-like特征和级联的adaboost分类器构造检测器，检测速度相较之前的方法有很大的提升并且保持了良好的精度。相当多的研究表明，即使使用更高级的特征和分类器，这种检测器在现实应用中也会显著降低人脸的视觉变化。相较于DMP模型表现出了良好的性能，对扭曲，性别多姿态等人脸都有很好的检测效果，但其最大的问题是速度太慢很难应用于工程当中。

之后随着卷积神经网络在分类问题上取得了成功，很快被用于人脸检测的问题当中，在精度上大幅度超越了之前的框架。当前的人脸检测模型大多由目标检测模型演变而来，可以分为one-stage和two-stage两种。Two-stage采用“proposal and refinement”，拥有高精度的特点，但其模型速度相对较慢。One-stage采用密集采样人脸位置和尺度，会导致训练过程中正负样本的不平衡。为了解决这个问题，sampling and re-weighting被广泛的使用。通过跟two-stage方法的比较，one-stage表现出了优秀的性能，但相对的准确率会比two-stage方法稍微差一点。

Faster R-cnn提出了anchor，然后被广泛的应用于了one-stage和two-stage目标检测网络中。近年来基于anchor-based目标检测取得了巨大的进展，证明了其有效性。但anchor需要进行大量的采样，使本来人脸检测任务正负样本不平衡的的现象加剧。最近几年，随着anchor-free目标检测网络的发展，其性能也越来越接近并超过anchor-based网络。而且其因为不用对特征进行大量稠密的采样，所以其具有运算高效性的天然优势。

头部姿态评估：

头部姿态评估一直使计算机视觉中一个被广泛研究的问题，而且方法也存在多种差异性，在一些文献当中，他们通过一些姿态模板来匹配真实的人脸来获取头部姿态。探测器阵列曾经也是一个流行的方法，训练多个探测器来检测不同的头部姿势。这些方法都耗费巨大的计算资源。

随着人脸关键点检测的成功，人脸关键点被用来评估头部姿态变得流行。给定一组2d的人脸关键点来计算得到3d的头部姿态角如POSIT。而基于关键点的头部姿态评估方法需要检测到人脸的关键点，而人脸关键点是密集的，在一些低分辨率图像当中或者针对小人脸，往往连一些专家也无法标定出人脸的关键点。

也有人考虑采用深度的信息来评估人脸的姿态，如Fanelli提出，但这需要额外的设备开销。随着深度学习的发展，一些端到端的模型逐渐被研究。Hopenet等采用深度学习的方法将头部姿态的回归任务转为了分类任务，来直接获得头部姿态，使模型更具鲁棒性。