[发明专利]基于三维投影的人脸对齐初始化方法及装置、存储介质

说明书

本发明实施例公开一种基于三维投影的人脸对齐初始化方法及装置、存储介质，其中方法包括如下步骤：基于预先训练的卷积神经网络模型估计测试图像的三维人脸位置参数，将三维人脸位置参数投影至规范二维位置得到对应的二维投影，根据测试图像的人脸边框对二维投影进行缩放处理，得到测试图像中人脸位置的初始化结果。采用本发明，可以在头部姿态变化较大的情况下，保证初始化在收敛半径内，进而提高此种情况下人脸对齐的精度。

技术领域

本发明涉及头部姿态估计和人脸对齐技术领域，尤其涉及一种基于三维投影的人脸对齐初始化方法及装置、存储介质。

背景技术

头部姿态估计和人脸对齐在人机交互、阿凡达动画以及人脸识别\验证等方面有着广泛的应用，因此近些年得以广泛地研究。这两个问题交错关联，放在一起相辅相成。由于人脸图像的高度多样性，二维图像的头部姿态估计仍具挑战。最新的方法曾尝试用深度数据来估计头部姿态。与此相反，人脸对齐技术已经取得长足进步，已有多种方法能在户外图像上良好的表现。当然这些方法也存在不足。研究发现，这些失败案例具有一个重要属性，这些图像中的头部 (面部)通常以大角度从正面姿势旋转。近年提出的最好的人脸对齐技术也有一个类似的级联姿态回归框架，也就是说，面部对齐从一个原始形状开始(一个目标位置的矢量表示)，并以从粗到细的方式更新形状。该框架下的对齐方案对初始化方法具有强的依赖性。因此，即使相同的图像输入，在不同的初始化方法下，一个级联人脸对齐系统的输出结果可能也会不同。每个模型都有一个收敛性半径。如果初始化在实际形状的范围内，则模型能够输出合理的对齐结果，否则可能导致形状定位在错误位置上。如图1所示。像传统初始化中提到的方法，采用在面部边框内的平均脸型或从训练集随机选择的形状作为初始化，并不能保证该初始化在收敛半径之内，尤其是头部姿势变化很大的情况。

为改善头部姿态大变化的情况下，人脸对齐的性能，需要一种更好的初始化方案，用于基于级联面部对齐的显式头部姿态估计。

发明内容

本发明实施例提供一种基于三维投影的人脸对齐初始化方法及装置、存储介质，可以在头部姿态变化较大的情况下，保证初始化在收敛半径内。

本发明实施例第一方面提供了一种基于三维投影的人脸对齐初始化方法，可包括：

基于预先训练的卷积神经网络模型估计测试图像的三维人脸位置参数；

将三维人脸位置参数投影至规范二维位置得到对应的二维投影；

根据测试图像的人脸边框对二维投影进行缩放处理，得到测试图像中人脸位置的初始化结果。

进一步的，上述将三维人脸位置参数投影至规范二维位置得到对应的二维投影，包括：

对三维人脸位置参数进行预处理，预处理包括对三维人脸位置参数的平移和聚焦处理；

将预处理后的三维人脸位置参数投影至规范二维位置得到对应的二维投影。

进一步的，上述方法还包括：

对训练数据进行增强头部姿态标注；

采用标注后的训练数据训练卷积神经网络模型。

进一步的，上述方法还包括：

基于卷积神经网络模型估计测试图像的头部姿态，标注测试图像中的人脸边框。

进一步的，上述方法还包括：

基于初始化结果对测试图像进行人脸对齐。

本发明实施例第二方面提供了一种基于三维投影的人脸对齐初始化装置，可包括：

三维参数估计模块，用于基于预先训练的卷积神经网络模型估计测试图像的三维人脸位置参数；

参数投影模块，用于将三维人脸位置参数投影至规范二维位置得到对应的二维投影；