[发明专利]一种基于kinect相机的人脸三维点云优化处理方法

说明书

本发明属于三维重建技术领域，涉及一种基于kinect相机的人脸三维点云优化处理方法。本发明的技术方案，不同于传统的对三维形式的点云进行处理，本发明的方案是利用Kinect相机的四通道图像RGB‑D，直接对深度信息进行处理来获得点云优化效果。本发明的方法利用现有的Kinect深度相机进行人脸三维点云的优化处理流程，避免了传统的高精度设备的昂贵价格，或者一般算法精度不高的问题；在深度优化的步骤里面，利用得到的优化后深度进行表面恢复时，没有采取一般的利用法向量直接进行融合，因为法向量的融合求解表面会产生偏移误差，这里利用深度梯度与法向量的几何关系进行求解，直接得到最后的深度，最后利用坐标的变化得到质量较高的三维点云。

技术领域

本发明属于三维重建技术领域，涉及一种基于kinect相机的人脸三维点云优化处理方法。

背景技术

目前，三维重建技术是计算机视觉领域的研究热点，人脸三维模型更是一个比较重要的方向，常常用于电影动画制作，游戏，医疗等等相关场景。目前获取三维人脸的方法包括三种：手工建模，仪器采集与基于图像的建模。手工建模作为最早的三维建模手段，需要专业人士来进行；仪器采集中，基于结构光和激光扫描仪是典型的代表，但是一般来说，仪器的成本都比较高；基于图像的建模主要是对若干幅图像利用某种算法得到结果，这种方式比较简单，但是由于算法本身的限制，结果不是很精确或者鲁棒。

但随着深度相机的出现，如kinect等，可以很方便又迅速的获取到人脸的深度，也就是很方便地得到人脸的三维点云，但是kinect相机得到的深度值噪声比较大，点云的噪声也是很大，需要对点云进行优化处理。传统的点云优化主要是直接对三维形式的点云进行处理，比如，针对缺失的问题，一般是从点云后期生成的三角网格进行补缺；针对分布不均的问题一般是基于最优投影的方法进行处理；针对点云的噪声主要是基于投影的方法，改进的滤波的方法和基于概率统计的方法。直接对三维的点进行处理，不管是从数据量还是结果而言，算法的鲁棒性都是很大的不确定因素。

发明内容

本发明所要解决的是，就是针对上述传统方法存在问题，提出一种不基于kinect相机的人脸三维点云优化处理方法。

本发明的技术方案是：如图1所示，一种基于kinect相机的人脸三维点云优化处理方法，其特征在于，包括以下步骤：

S1、kinect相机标定，包括深度相机与彩色相机的内外参数；

S2、获取被测人脸图像：应用步骤S1中的相机，获取被测人脸的彩色图和深度图，并将获得的彩色图和深度图进行对齐处理，即将像素大小不同的深度图和彩色图一一对齐，使每一个深度值有一个相应的RGB值；

S3、对获取的图像进行预处理，包括深度图的缺失点，彩色图的错误点，并对深度进行双边滤波处理；

S4、从获取的彩色图中提取出人脸，并将提取出的人脸投影到对齐的深度图里面，获得深度图中相应的人脸区域；

S5、将RGB和深度D结合起来，对D图中相应的人脸区域进行深度优化处理，再利用深度相机的内参，将优化后的深度转换成三维点云。

上述方案为本发明总的技术方案，与传统直接对三维的点进行处理的方式相比，本发明的方法利用Kinect相机的四通道图像RGB-D，直接对深度信息进行处理来获得点云优化效果，因此相比传统方法，本发明的方法优化速度较快，同时结果也比较稳定。

进一步的，所述步骤S3的具体方法为：

对于深度D图的缺失点而言，假设缺失像素点坐标为(i,j)，那么就从该点的上下左右四个方向进行搜索，直到找到每个方向的首个非零值为止，然后将四个值求平均值来填充该像素的缺失值。对于RGB图的错误点而言，首先分别判断RGB图三个通道的值，若三个通道同时为0，就判定该点为错误点，然后赋予该像素点三个通道都为1。

进一步的，如图2所示，所述步骤S4的具体方法为：