[发明专利]基于RGBD相机的人脸实时三维重建方法

权利要求书

1.一种基于RGBD相机的人脸三维重建方法，其特征在于，包括以下步骤：

S1：采集彩色图像和深度图像：利用RGBD相机采集一帧正面人脸的彩色图像和深度图像；

S2：获取第一点集：在所述彩色图像中提取人脸特征点的图像坐标，将所述人脸特征点的图像坐标投影到所述深度图像中，获得人脸特征点的三维坐标，人脸特征点的三维坐标的点集记为第一点集；

S3：求解人的头部姿态、身份系数、表情系数并构建纹理图像的数据偏移量：利用所述第一点集和所述深度图像迭代求解人的头部姿态，并迭代求解人脸多线性模型中的身份系数和表情系数；构建纹理图像的数据偏移量，所述数据偏移量包括深度数据偏移量和颜色数据偏移量；步骤S3包括如下步骤：

S31：从所述人脸多线性模型中得到特征点序号，以此得到与第一点集对应的第二点集；

S32：初始化当前人的头部姿态；

S33：构建能量函数：E_pos＝ω₁E₁+ω₂E₂，其中L₀是所述第一点集；l_k是第一点集中的特征点坐标，l′_k是第二点集中特征点的坐标；F₀是所述深度图像中与人脸多线性模型中有对应关系的点的集合，为第三点集，f_k是第三点集中点的三维坐标；f_k′是人脸多线性模板中与第三点集对应的点的三维坐标；R、t是人的头部姿态参数，ω₁和ω₂是两部分能量函数的系数；

S34：采用迭代优化的方法最小化能量函数E_pos，计算出人的头部姿态参数；

S35：再次构建能量函数，利用迭代优化算法计算出身份系数和表情系数；

深度数据偏移量的计算公式为：其中Bump(u，v)为深度数据的偏移量，Color(u，r)为颜色数据的偏移量，初始值均为0，Weight(u，v)为所述人脸特征点的深度数据和/或颜色数据的可信度，V(u，v)为所述人脸多线性模型中网格顶点的坐标或由网格顶点坐标插值得到，N(u，v)为V(u，v)的法向量，V′(u，v)为V(u，v)投影在深度图像上的点的三维坐标，令p＝V′(u，v)-V(u，v)，C′为V′(u，v)在所述彩色图像上的颜色数据；

S4：计算得到当前人脸模板以及人脸三维几何模型：利用人脸多线性模型和人脸混合形状模型计算得到当前人脸模板；更新所述数据偏移量，由当前人脸模板和更新的数据偏移量计算得到人脸三维几何模型；

S5：得到更新的人脸三维几何模型：继续采集下一帧彩色图像和深度图像，依次利用步骤S2、S3、S4的方法进行处理，得到更新的人脸三维几何模型。

2.如权利要求1所述的基于RGBD相机的人脸三维重建方法，其特征在于，步骤S1中所述RGBD相机包括同时采集彩色图像和深度图像的Kinect Xbox360、Kinect One、Xtion和Orbbec。

3.如权利要求1所述的基于RGBD相机的人脸三维重建方法，其特征在于，步骤S2中提取人脸特征点的方法包括级联特征提取器、端到端神经网络的人脸特征点提取方法，所提取的人脸特征点数量是68点或74点。

4.如权利要求1所述的基于RGBD相机的人脸三维重建方法，其特征在于，步骤S4中所述得到当前人脸模板包括如下步骤：将人脸多线性模型通过身份系数加权平均得到当前人脸的混合形状模型，所述人脸的混合形状模型为具有相同身份、不同表情的模板的混合；然后结合表情系数计算得到当前人脸模板。

5.如权利要求1所述的基于RGBD相机的人脸三维重建方法，其特征在于，步骤S4中所述得到当前人脸模板的计算公式为：其中B为当前人脸模板，B_i为人脸的混合形状模型，w_exp(i)为表情系数向量w_exp的第i个分量。

6.如权利要求1所述的基于RGBD相机的人脸三维重建方法，其特征在于，步骤S4中所述更新所述数据偏移量包括更新深度数据偏移量和/或更新颜色数据偏移量。

7.如权利要求1所述的基于RGBD相机的人脸三维重建方法，其特征在于，人脸三维几何模型中点的坐标计算公式为：M(u，v)＝V(u，v)+Bump(u，v)N(u，v)。