[发明专利]基于RGBD相机的人脸实时三维重建方法

说明书

本发明提供一种基于RGBD相机的人脸三维重建方法，包括以下步骤：S1：采集彩色图像和深度图像；S2：获取第一点集；S3：求解人的头部姿态、身份系数、表情系数并构建纹理图像的数据偏移量；S4：计算得到当前人脸模板以及人脸三维几何模型；S5：得到更新的人脸三维几何模型。本发明的有益效果为：基于RGBD相机的人脸三维重建方法是利用采集得到的彩色图像和深度图像在人脸多线性模型和人脸混合形状模型的基础上，进一步构建纹理图像的数据偏移量得到人脸三维几何模型，该方法计算量小，易实现实时计算；采用较少的存储量实现较为精细的几何细节和纹理建模，是一种实时的、表达效果好的人脸三维重建方法。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于RGBD相机的人脸实时三维方法重建。

背景技术

随着RGBD相机和计算机视觉的发展，三维重建技术展现了广阔的应用前景。其中，基于RGBD相机的人脸几何与反射率快速重建在智能移动设备上的应用将会在消费娱乐、动画制作、远程协作等领域产生广泛影响。

基于RGBD相机实现人脸三维重建的方式主要有两种：一、基于人脸多线性模型和混合形状模型的方法；二、基于Volume的一般三维重建方法。前者是对若干人脸几何模板进行线性组合得到最终三维模型，几何模板的数量决定了模型的表达能力，因此该方法的模型小、处理速度快，但表达能力有限，得到的三维重建结果缺乏纹理细节。后者是将一般的基于Volume的三维重建方法应用到人脸三维重建当中，模型结构庞大，难以做到实时三维重建；且该方法重建出来的三维模型缺少语义信息，对于人脸这种具有丰富语义信息的对象，重建效果有所欠缺。

目前没有一种实时的、表达效果好的人脸三维重建方法，给人脸三维重建带来诸多不便。

发明内容

本发明为了解决现有技术中没有一种实时的、表达效果好的人脸三维重建方法的问题，提供一种基于RGBD相机的人脸实时三维重建方法。

为了解决上述问题，本发明采用的技术方案如下所述：

本发明提供一种基于RGBD相机的人脸三维重建方法，包括以下步骤：S1：采集彩色图像和深度图像：利用RGBD相机采集一帧正面人脸的彩色图像和深度图像；S2：获取第一点集：在所述彩色图像中提取人脸特征点的图像坐标，将所述人脸特征点的图像坐标投影到所述深度图像中，获得人脸特征点的三维坐标，人脸特征点的三维坐标的点集记为第一点集；S3：求解人的头部姿态、身份系数、表情系数并构建纹理图像的数据偏移量：利用所述第一点集和所述深度图像迭代求解人的头部姿态，并迭代求解人脸多线性模型中的身份系数和表情系数；构建纹理图像的数据偏移量，所述数据偏移量包括深度数据偏移量和颜色数据偏移量；S4：计算得到当前人脸模板以及人脸三维几何模型：利用人脸多线性模型和人脸混合形状模型计算得到当前人脸模板；更新所述数据偏移量，由当前人脸模板和更新的数据偏移量计算得到人脸三维几何模型；S5：得到更新的人脸三维几何模型：继续采集下一帧彩色图像和深度图像，依次利用步骤S2、S3、S4的方法进行处理，得到更新的人脸三维几何模型。