[发明专利]基于单视角照片的三维人脸自动建模方法、系统及装置

权利要求书

1.一种基于单视角照片的三维人脸自动建模方法，其特征是：包括如下步骤：

检测得到人像正脸照片中的人脸关键点；

根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；

根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；

将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；

对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型。

2.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：检测得到人像正脸照片中的人脸关键点的方法为：使用基于深度学习模型的人脸检测算法对人像正脸照片进行检测，并识别出人脸关键点。

3.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：所述根据人像正脸照片选择底层模板模型，包括：根据人像正脸照片中的人脸立体度选择底层模板模型。

4.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：在按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型的步骤中，还包括如下子步骤：

调整人像正脸照片中存在阴影的人脸关键点的位置；

通过最小化调整后的人脸关键点和关键点顶点的二维投影位置的距离，拟合生成纹理三维模型；

根据纹理三维模型得到调整后的模型顶点的纹理坐标；

根据调整后的模型顶点的纹理坐标得到对应于人脸关键点的贴图；

将得到的贴图贴至初步三维模型。

5.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：所述根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型，包括：通过最小化人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型。

6.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：在得到目标三维模型后，对目标三维模型上的贴图进行修复和纹理补充，得到优化三维模型；

对目标三维模型进行贴图修复，包括如下子步骤：

根据目标三维模型的二维投影找到待修复区域；

根据待修复区域的边界计算生成待修复区域的草图；

通过人脸分割技术得到待修复区域作为修复的mask；

输入草图和mask到图片人脸重编辑的生成模型中，对待修复区域进行重新生成；

对目标三维模型进行纹理补充，包括如下子步骤：

从目标三维模型中找出纹理缺失的部位，将纹理缺失的部位替换为预设的对应于纹理缺失部位的纹理；

根据人像正脸照片的人脸区域，得到肤色的平均值并根据肤色的平均值，对目标三维模型的所有皮肤颜色进行填充替换；

对目标三维模型的处于边界的皮肤颜色进行羽化融合处理。

7.根据权利要求6所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：所述投影为透视投影。

8.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：对人像正脸照片进行预处理的过程为：采用高斯滤波对人像正脸照片进行图像去噪，采用低光照图像增强方法对人脸正像照片调整明暗对比，去除人像正脸照片中的阴影。