[发明专利]一种三维人脸补全的方法

权利要求书

1.一种三维人脸补全的方法，其特征在于，包括如下步骤：

S1：输入人脸模型和全头模型：分别输入待补全的人脸模型的3D点云和全头模型的三维网格，所述人脸模型和全头模型均具有纹理信息；

S2：全头模型3D特征点提取：选取全头模型的人脸区域和脖子区域，提取全头模型的3D人脸特征点；

S3：人脸模型3D特征点提取：利用同步实现人脸三维点云特征点定位和人脸分割的方法，提取人脸模型的3D特征点；

S4：人脸模型和全头模型粗对齐：根据步骤S3提取的人脸模型的3D特征点和步骤S2提取的全头模型的3D人脸特征点，用ICP算法粗对齐；

S5：提取人脸区域：根据对齐后的全头模型的三维网格的人脸区域，设置距离阈值提取人脸模型的脸部区域；

S6：变形：以步骤S5提取的三维人脸的脸部区域为目标；用迭代变形算法将全头模型的三维网格进行变形，直到全头模型适应了人脸模型，达到收敛条件；

S7：融合人脸模型和全头模型：将人脸模型和变形后的全头模型融合到一起；并融合两者纹理，得到脸部替换后的全头模型；

S8：输出：输出三维人脸补全的全头模型。

2.根据权利要求1所述三维人脸补全的方法，其特征在于：步骤S2包括如下步骤：

S21：选择全头模型的三维网格的脸部区域，并求出脸部区域在全头模型的三维网格的顶点的索引；

S22：选择全头模型的三维网格的脖子区域，并求出脖子区域在全头模型的三维网格的顶点的索引；

S23：用同步实现人脸三维点云特征点定位和人脸分割的方法，求出全头模型的3D人脸特征点。

3.根据权利要求1所述三维人脸补全的方法，其特征在于：步骤S4包括如下步骤：

S41：根据步骤S3提取的人脸模型的3D特征点和步骤S2提取的全头模型的3D人脸特征点，得到两者对应的人脸3D特征点；

S42：利用两者相对应的特征点用ICP算法求取点云的刚性变换矩阵，将两者粗对齐。

4.根据权利要求1所述三维人脸补全的方法，其特征在于：步骤S5包括如下步骤：

S51：根据对齐后的全头模型的三维网格的人脸区域顶点的坐标建立KD树；

S52：对于人脸模型的3D人脸点云的每个点，在KD树中寻找最近的点，当距离小于1.5cm，则将3D人脸点云的这个点判定为人脸区域。

5.根据权利要求1所述三维人脸补全的方法，其特征在于：步骤S6包括如下步骤：

S61：设置全头模型为网格变形的源，人脸模型为网格变形的目标，并将每一次的迭代变形表示为全头模型的每个顶点的仿射变换矩阵；

S62：设置全头模型迭代变形的损失项：距离损失项、刚性损失项和固定项；

S63：以不同的刚性参数迭代求解头部变形，直到全头模型适应了人脸模型，达到收敛条件。

6.根据权利要求1所述三维人脸补全的方法，其特征在于：步骤S7包括如下步骤：

S71：全头模型经过变形后，将脸部的点云替换成3D人脸扫描的点云；

S72：分别统计全头模型人脸区域的点云颜色和3D人脸扫描的点云颜色的直方图，然后将全头模型人脸皮肤区域的点云颜色的直方图规定化，使其的分布和3D人脸扫描的点云颜色直方图的分布一样，然后采用边界纹理高斯滤波的方法，过度接缝处的纹理色差；

S73：重新生成网格，得到全头模型。