[发明专利]一种同步实现人脸三维点云特征点定位和人脸分割的方法

说明书

本发明属于计算机视觉领域和点云处理领域，涉及一种同步实现人脸三维点云特征点定位和人脸分割的方法，包括如下步骤：S1：点云初始化：输入人脸点云数据；S2：投影：将具有纹理的点云信息投影到2D图像上；S3：2D特征点定位：在投影的2D图像上定位人脸特征点；S4：求解3D特征点：根据对应关系求解人脸三维点云的特征点；S5：分割：用特征点信息裁剪人脸点云数据；S6：修剪：去除点云离群值；S7：迭代：返回S2重新求解点云特征点，迭代直到点云特征点稳定；S8：输出：输出裁剪后的人脸点云和人脸3D特征点。本发明方法同步实现定位3D人脸特征点并裁剪人脸点云，两个过程相互促进，能够高精度地求解人脸点云特征点，且简便易行，高效实用。

技术领域

本发明属于计算机视觉领域和点云处理领域，特别涉及一种同步实现人脸三维点云特征点定位和人脸分割的方法。

背景技术

随着三维扫描技术的发展，人脸的三维扫描被应用广泛。人脸三维点云数据的人脸分割和准确的3D特征点定位在人脸对齐、人脸识别、人脸3D打印、人脸动画、虚拟现实等领域起着重要的作用。人脸点云数据的裁剪方法主要有以下几种方法：

(1)随机采样一致算法(RANSAC)算法。此算法可以从一组包含“局外点”点的扫描数据中，通过随机割舍一些现有的数据并多次迭代的方式估计数学模型。此算法适合在点云算法有大量噪声的情况下找到点云的面的表达式。缺点：此算法需要事先指定容忍误差，还需要指定迭代次数作为收敛条件。对于人脸分割而言，此算法不能适应多变的人脸扫描，鲁棒性和准确度都不够高。

(2)超体聚类分割算法。此算法进行人脸区域的分割的原理是将点云化成很多小块，并研究每个小块之间的关系，将更小单元合并。此算法计算复杂，分割后的人脸边缘杂乱。

对于人脸点云特征点定位的方法主要有以下几种方法：

(1)基于曲率的特征点定位方法。这种方法在曲率估计前要做平滑预处理，尤其是在眼睛和嘴角附近，根据人脸特定区域的特定区域来寻找特征点。缺点：此方法计算代价较高，会破坏局部特征的信息，对于点云数据，会有许多点邻域有相似的曲率值，因此特征点误定位的情况较多。

(2)基于限制性假设的启发式方法。这种方法基于参考点和人脸对称轴，最容易定位出鼻子，眼睛和嘴角。缺点：需要事先通过参考点找到人脸对称轴。

在以上的方法中，对于人脸点云数据的裁剪方法，随机采样一致算法和超体聚类分割算法计算量都偏大，对变化较大的扫描点云不具有鲁棒性。同样对于人脸区域的裁剪不具有语义，因此裁剪的边缘准确度较差。对于人脸点云特征点定位的方法，基于曲率正确率较低，计算代价高，启发式的方法虽然准确率比基于曲率的方法高，但这种方法需要手工标记。

发明内容

本发明的目的在于提供一种同步实现人脸三维点云特征点定位和人脸分割的方法，解决定位人脸三维点云的特征点和分割人脸点云的技术问题。本发明利用带有纹理数据的点云准确识别人脸特征点并分割出人脸区域。该方法能够克服现有技术中所存在的缺陷，能够准确识别人脸点云中的人脸特征点信息，并且配合点云裁剪方法，通过迭代求解，提高了人脸点云特征点定位的精度，减少了误定位的情况。

本发明的实现过程如下：

一种同步实现人脸三维点云特征点定位和人脸分割的方法，包括如下步骤：

S1：点云初始化：输入人脸点云数据，要求点云具有纹理信息；

S2：投影：将具有纹理的点云信息投影到2D图像上；

S3：2D特征点定位：在投影的2D图像上定位人脸特征点；

S4：求解3D特征点：根据对应关系求解人脸三维点云的特征点；

S5：分割：用特征点信息裁剪人脸点云数据；

S6：修剪：去除点云离群值；