[发明专利]人脸图像姿态估计和校正方法、系统、介质及电子设备

说明书

本发明提供一种人脸图像姿态估计和校正方法、系统、介质及电子设备，收集人脸图像数据并标注人脸关键点，计算人脸的旋转平移向量标签，建立训练数据集和测试数据集；设置旋转平移向量损失函数，利用所述训练数据集训练搭建的卷积神经网络模型，直至所述旋转平移向量损失函数计算得到的损失达到预设阈值时停止训练；利用所述测试数据集评估训练得到的卷积神经网络模型，以从中选择一最优的卷积神经网络模型作为目标网络模型。本发明的人脸图像姿态估计和校正方法、系统、介质及电子设备，既可以完成人脸姿态估计，也能用于仿射变换校正对齐人脸图像，去除使用人脸检测器校正对齐方法对后续属性识别和特征提取模块应用不利的影响。

技术领域

本发明涉及人脸图像处理技术领域，特别是涉及一种人脸图像姿态估计和校正方法、系统、介质及电子设备。

背景技术

人脸姿态估计和校正对齐在人脸属性分类和人脸特征识别等领域中有着重要的作用，人脸姿态估计是对二维图像中的人脸在三维世界坐标系中所处的姿态进行估计，人脸校正对齐是将二维图像中角度不正的人脸修正对齐。人脸角度较大(例如侧脸、抬头、低头等)的人脸会导致属性类内间距和人脸特征向量距离增加，从而影响相应模型的准确率。

目前人脸属性分类和人脸特征识别在智能商业、视频监控等领域中都有着广泛的应用，准确高效的人脸姿态估计方法可以过滤应用场景中一些姿态角度大的人脸图像，而校正对齐方法可以将姿态角度较小符合条件的人脸图像对正对齐，这样有助于提升人脸属性分类和人脸特征识别的准确率。例如在智能商业常见的商场客流分析系统中，由于采集到的顾客人脸图像是通过被动式摄像头抓取的，这些图片的人脸姿态角度往往变化较大，对这些图片直接分析人脸的各属性和特征会降低模型的准确率和召回率，无法建立精准的顾客画像数据，影响智能客流分析系统的整体精度，因此一种准确高效的人脸姿态估计和校正对齐方法可以提升很多人脸相关任务的准确率。现在主流的人脸姿态估计和校正对齐方法主要包括以下两种：其一是基于人脸关键点检测的方法，依据检测到的人脸关键点计算旋转平移矩阵得到人脸姿态角度，再根据旋转平移矩阵做仿射变换对齐人脸，这种方法会依赖于人脸关键点的准确定位，如果定位出现误差或者人脸表情变化大导致关键点相对位置变化剧烈时，会造成人脸姿态估计较大误差和人脸对齐效果差的情况；其二是使用神经网络直接回归人脸姿态角度，校正对齐则用人脸box检测器定位后依据姿态角度旋转图像达到对齐目的，这种方法需要人脸检测器的box框作定位裁剪旋转图片，对齐后的人脸图片将和人脸检测器风格相关，对检测器风格的依赖不利于属性识别模型和特征提取模型的鲁棒性。

由于方法一校正对齐的人脸图片是通过人脸关键点计算旋转平移矩阵再进行仿射变换而来，要比方法二依赖于检测框得到的人脸对齐图像具有更好的泛化性和适用性，缺点是对人脸关键点的定位准确度要求较高，对人脸表情变化的情况处理效果不佳，因此，研究出一种准确高效的人脸姿态估计和校正对齐方法有着重要意义。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸图像姿态估计和校正方法、系统、介质及电子设备，用于解决现有技术中人脸姿态估计和校正效率低的问题。

为实现上述目的及其他相关目的，本发明提供一种人脸图像姿态估计和校正方法，收集人脸图像数据并标注人脸关键点，计算人脸的旋转平移向量标签，建立训练数据集和测试数据集；设置旋转平移向量损失函数，利用所述训练数据集训练搭建的卷积神经网络模型，直至所述旋转平移向量损失函数计算得到的损失达到预设阈值时停止训练；利用所述测试数据集评估训练得到的卷积神经网络模型，以从中选择一最优的卷积神经网络模型作为目标网络模型；通过所述目标网络模型获得所述人脸图像的旋转平移矩阵，进而通过第一预设函数计算旋转偏移矩阵，以通过仿射变换对齐校正所述人脸图像。

于本发明的一实施例中，所述人脸关键点包括所述人脸图像上左眼中心、右眼中心、鼻子、左嘴角以及右嘴角五个关键点信息。