[发明专利]一种基于kinect相机的人脸三维点云优化处理方法

摘要

本发明属于三维重建技术领域，涉及一种基于kinect相机的人脸三维点云优化处理方法。本发明的技术方案，不同于传统的对三维形式的点云进行处理，本发明的方案是利用Kinect相机的四通道图像RGB‑D，直接对深度信息进行处理来获得点云优化效果。本发明的方法利用现有的Kinect深度相机进行人脸三维点云的优化处理流程，避免了传统的高精度设备的昂贵价格，或者一般算法精度不高的问题；在深度优化的步骤里面，利用得到的优化后深度进行表面恢复时，没有采取一般的利用法向量直接进行融合，因为法向量的融合求解表面会产生偏移误差，这里利用深度梯度与法向量的几何关系进行求解，直接得到最后的深度，最后利用坐标的变化得到质量较高的三维点云。

主权项

1.一种基于kinect相机的人脸三维点云优化处理方法，其特征在于，包括以下步骤：/nS1、kinect相机标定，包括深度相机与彩色相机的内外参数；/nS2、获取被测人脸图像：应用步骤S1中的相机，获取被测人脸的RGB图和深度D图，并将获得的RGB图和深度D图进行对齐处理，即将像素大小不同的深度D图和RGB图一一对齐，使每一个像素的深度值有一个相应的RGB值；/nS3、对获取的图像进行预处理，包括深度D图的缺失点，RGB图的错误点，并对深度D图进行双边滤波处理；具体方法为：/n对于深度D图的缺失点：假设缺失像素点坐标为(i,j)，从该点的上下左右四个方向进行搜索，直到找到每个方向的首个非零值为止，然后将四个值求平均值来填充该像素的缺失值；/n对于RGB图的错误点：首先分别判断RGB图三个通道的值，若三个通道同时为0，就判定该点为错误点，然后赋予该像素点三个通道都为1；/nS4、从获取的RGB图中提取出人脸，并将提取出的人脸投影到对齐的深度D图里面，获得深度D图中相应的人脸区域；具体方法为：/nS41、对获取的RGB图进行映射：/n将RGB颜色空间通过如下公式1映射到YCbCr空间：/n /nS42、初步提取人脸：/n采用如下公式2所示的二维高斯模型检测S41得到的变换空间图像中每一个像素点为肤色的概率：/n /n获得每一个像素点的概率值后，对获得的概率图进行二值化，结果即为初步提取人脸结果；/nS43、对获得的二值图像进行处理，提取出目标人脸矩形区域；/nS5、将RGB和深度D结合起来，对D图中相应的人脸区域进行深度优化处理，再利用深度相机的内参，将优化后的深度转换成三维点云，具体方法为：/nS51、对RGB图像进行本征分解，按照如下公式3所示的光照模型进行分解：/n /n公式3中，是图像像素点(i,j)处的强度，也就是像素灰度值，是像素点的明暗值，ρ(i,j)表示多反射率，β(i,j)表示局部光照变化影响因子；/nS52、求解步骤S51中获得的参数，具体为：/nS521、求解明暗值/n将图像某一点的明暗值表示成如下公式4所示的该点的法向量的线性形式：/n /n其中，是图像每一像素点的法向向量，是前四个球谐函数系数，图像中的每个像素都可以用来求解明暗值，因此，这里需要解决的是超定的最小二乘系数估计问题，如下公式5：/n /nS522、求解多反射率ρ(i,j)：/n利用如下公式6所示的能量函数进行求解：/n /n公式6中，N是某像素的邻域，是与像素强度值相关的权重系数，是与初始深度相关的权重系数，I是灰度值，下标k为像素编号，表示为如下公式7：/n /n公式7中，z(i,j)是像素点(i,j)的深度值，I(i,j)是像素(i,j)的RGB值，σ_c是关于某像素与其邻域内像素强度值的系数，σ_d是关于深度不连续的相关系数；/nS523、求解局部光照变化影响因子β(i,j)：/n通过如下公式8获得β(i,j)：/n /nS53、根据步骤S52得到的参数进行人脸的深度优化，利用能量最小化，通过如下公式9求解：/n /n公式9中，z₀是图像初始获取的深度值，Δ表示其拉普拉斯算子；△是深度的偏导关系，是对于每一个像素点的法向量的表示，具有如下公式10所示的关系：/n /n公式10中，z的下标x和y分别表示x方向的梯度和y方向的梯度；/n公式9的求解方法具体为：/nS531、固定非线性项，即在求解法向量的时候分母项，将这个分母项以前一次的计算结果作为已知值带入这一次的法向量计算，如下公式11所示：/n /nS532、利用得到的法向量，更新线性本征分解光照模型项，如下公式12：/n /nS533、迭代求解，根据参数z₀,ρ,β，当f(z^k-1)>f(z^k)成立时，一直迭代计算：/n /n /n直到f(z^k+1)>f(z^k)，停止迭代流程，前一次的z^k即优化处理得到的最后结果；/n所述τ、σ_c、σ_d、λ_ρ、为预设的权重阈值；/nS54、根据Kinect深度相机的参数，利用坐标系的转换将S533迭代的得到的二维深度z^k转换到三维点云形式，如下公式13：/n /n公式13中，(i,j)是图像中的像素点，[x_(i,j),y_(i,j),z_(i,j)]为待求解像素(i,j)三维坐标，z^k(i,j)是其深度值，K^-1是深度相机内参矩阵的求逆。/n