[发明专利]三维人脸模型重建方法及装置

说明书

本发明实施例公开一种三维人脸模型重建方法及装置，能提高三维人脸模型重建的精度和速度。方法包括：S1、获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；S2、将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；S3、根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。

技术领域

本发明实施例涉及图像处理技术领域，具体涉及一种三维人脸模型重建方法及装置。

背景技术

三维人脸重建主要有三种方法：手动建模，仪器采集和基于图像的少量交互或完全自动建模。手工建模作为最早的三维建模手段，现在仍然被广泛地使用。手工建模一般需要有经验的专业人士借助Autodesk Maya、3DMax等软件来完成。由于手动建模需要耗费大量的人力与时间，三维人脸建模仪器作为更为方便的方法得到了长期的研究和发展。其中的典型代表有基于结构光和激光扫描技术的精密三维采集仪器和深度相机等。基于精密仪器采集的三维模型，精度可达毫米级，是物体的真实三维数据，可以用来为基于图像的建模方法提供评价数据库，但这些设备一般价格高昂，且使用需经过专业培训，不适合于消费级的市场。最近，市场上出现了Microsoft Kinect、Intel RealSense、PrimeSense等深度相机，研究者可以利用深度相机采集到的深度信息来重建三维模型。和精密采集仪器相比，深度相机价格较低廉且更易于使用，但相比于RGB相机而言，这些设备仍较为少见。基于图像的建模技术是指通过多张或单张人脸图像来重建三维人脸模型。和人脸建模仪器相比，基于图像的建模方法只需要传统RGB相机采集的人脸图片，因此应用场景更为广泛。

由于人脸具有较多共性，如具有特定数目的眼睛，嘴巴，鼻子，耳朵且相对位置不变，因此可以建立一个人脸的参数化模型，将复杂的三维人脸参数化到一个低维的空间。传统的基于图像的三维人脸建模技术一般把参数化模型作为先验，利用人脸关键点信息和颜色信息来优化参数化模型的相关系数。但这些方法存在一些问题：基于关键点信息的优化仅利用了稀疏的关键点信息，三维重建精度较低；基于颜色的优化要经过比较耗时的计算，且对光照比较敏感。

发明内容

针对现有技术存在的不足和缺陷，本发明实施例提供一种三维人脸模型重建方法及装置。

一方面，本发明实施例提出一种三维人脸模型重建方法，包括：

S1、获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；

S2、将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；

S3、根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。

另一方面，本发明实施例提出一种三维人脸模型重建装置，包括：

第一输入单元，用于获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；

第二输入单元，用于将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；

重建单元，用于根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。