[发明专利]一种单阶段的人脸检测和关键点定位方法及系统

说明书

本发明提供一种单阶段的人脸检测和关键点定位方法及系统，涉及人脸检测和关键点定位技术领域，包括对人脸图像进行标注得到标注图像；根据标注图像训练得到人脸检测和关键点定位融合模型；将当前帧待检测人脸图片输入人脸检测和关键点定位融合模型，得到当前帧人脸检测框和当前帧人脸关键点位置；根据当前帧人脸关键点位置对下一帧待检测人脸图片进行关键点防抖处理，得到下一帧人脸检测框和下一帧人脸关键点位置；进行关键点防抖处理的总次数不大于次数阈值时采用关键点防抖且不于时采用人脸检测和关键点定位融合模型进行人脸检测和关键点定位。本发明有效提升人脸检测和关键点定位的准确率；改善关键点抖动；适用于单模型部署的边缘计算设备。

技术领域

本发明涉及人脸检测和关键点定位技术领域，尤其涉及一种单阶段的人脸检测和关键点定位方法及系统。

背景技术

人脸检测是一种在任意输入图像中自动搜索人脸位置和大小的技术，关键点定位是在给定的人脸框中正确定位出关键点位置的过程。在人脸相关领域，人脸检测和关键点定位是很多算法的前置算法，比如人脸识别、美颜、换脸等，所以人脸检测和关键点定位在人脸领域是至关重要的。

目前大多数人脸和关键点检测方法都是分步实施的，即先进行人脸检测，再进行关键点检测，人脸检测算法只负责人脸检测，人脸关键点算法只负责关键点定位，两个算法互相独立，无关联，此类方法忽略了这两个任务之间的内在联系，整体的检测效率不高。现有技术中，人脸检测和关键点定位存在以下问题：一是精度问题，由于两个算法独立训练，无互相补充促进作用，导致准确率一般。二是关键点抖动问题，目前关键点定位算法都会有点抖动。三是部署问题，目前的一些边缘计算设备，只支持单模型推理，例如：海思的某些型号开发板，如果加载两个或两个以上的模型，推理速度会大幅下降，满足不了速度要求，落地也就会变得非常困难。

发明内容

针对现有技术中存在的问题，本发明提供一种单阶段的人脸检测和关键点定位方法，具体包括：

步骤S1，获取若干人脸图像，并对各所述人脸图像进行标注，得到具有真实人脸框以及真实关键点位置的标注图像；

步骤S2，根据所述标注图像训练得到人脸检测和关键点定位融合模型；

步骤S3，将视频图像中的当前帧待检测人脸图片输入所述人脸检测和关键点定位融合模型，得到所述当前帧检测人脸图片对应的当前帧人脸检测框和当前帧人脸关键点位置并输出；

步骤S4，根据所述当前帧人脸关键点位置对下一帧所述待检测人脸图片进行关键点防抖处理，并记录进行所述关键点防抖处理的总次数；

步骤S5，将记录得到的所述总次数与预设的次数阈值进行比较：

若所述总次数不大于所述次数阈值，则转向步骤S6；

若所述总次数大于所述次数阈值，则将所述总次数清零，随后返回所述步骤S3；

步骤S6，根据所述关键点防抖处理的处理结果直接得到下一帧所述待检测人脸图片对应的下一帧人脸检测框和下一帧人脸关键点位置，并作为所述当前帧人脸检测框和所述当前帧人脸关键点位置输出，随后返回所述步骤S4；

上述过程持续执行，直至所有帧所述视频图像均处理完毕为止。

优选的，所述人脸检测和关键点定位融合模型采用retinanet网络结构，且所述retinanet网络结构中的后三层卷积层输出的特征图采用特征金字塔网络结构。

优选的，所述人脸检测和关键点定位融合模型的训练过程中，采用具有预设比例的锚点框进行所述人脸检测框的回归预测以及所述人脸关键点位置的预测。

优选的，所述人脸检测和关键点定位融合模型的训练过程中，卷积操作生成的特征图中，各像素点在对应的所述人脸图像中的感受野的尺寸大小是所述锚点框尺寸大小的两倍。

优选的，所述预设比例为1:1。