[发明专利]基于单视角照片的三维人脸自动建模方法、系统及装置

说明书

本发明涉及三维建模领域，公开了一种基于单视角照片的三维人脸自动建模方法、系统及装置，其技术方案要点是检测得到人像正脸照片中的人脸关键点；根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型，能够得到真实自然完整的目标三维模型。

技术领域

本发明涉及三维建模领域，更具体地说，它涉及一种基于单视角照片的三维人脸自动建模方法、系统及装置。

背景技术

三维人脸建模在影视动画，虚拟人等场景应用广泛，三维建模师通过建模软件建模的方式成本高昂，不能满足一些应用场景。从人像照片中获取三维信息通常需要多个视角信息，而使用单个正面照片可以简化素材的获取，使人脸建模更加易得，所以使用单个正面照片来进行人脸建模，更加适合于市场的需要。

但是利用单张正面照片进行人脸建模会存在所得模型不真实，不完整的问题，这是由于单张正面照片侧脸纹理缺失，侧脸轮廓特征缺失，照片采集质量等问题造成的，所以需要解决这些问题。

发明内容

本发明的目的是提供一种基于单视角照片的三维人脸自动建模方法、系统及装置，能够得到真实自然完整的目标三维模型。

本发明的上述技术目的是通过以下技术方案得以实现的：一种基于单视角照片的三维人脸自动建模方法，包括如下步骤：

检测得到人像正脸照片中的人脸关键点；

根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；

根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；

将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；

对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型。

作为本发明的一种优选技术方案，检测得到人像正脸照片中的人脸关键点的方法为：使用基于深度学习模型的人脸检测算法对人像正脸照片进行检测，并识别出人脸关键点。

作为本发明的一种优选技术方案，所述根据人像正脸照片选择底层模板模型，包括：根据人像正脸照片中的人脸立体度选择底层模板模型。

作为本发明的一种优选技术方案，在按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型的步骤中，还包括如下子步骤：

调整人像正脸照片中存在阴影的人脸关键点的位置；

通过最小化调整后的人脸关键点和关键点顶点的二维投影位置的距离，拟合生成纹理三维模型；

根据纹理三维模型得到调整后的模型顶点的纹理坐标；

根据调整后的模型顶点的纹理坐标得到对应于人脸关键点的贴图；

将得到的贴图贴至初步三维模型。

作为本发明的一种优选技术方案，所述根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型，包括：通过最小化人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型。

作为本发明的一种优选技术方案，在得到目标三维模型后，对目标三维模型上的贴图进行修复和纹理补充，得到优化三维模型；

对目标三维模型进行贴图修复，包括如下子步骤：