[发明专利]一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法

摘要

本发明提出一种从深度信息直接进行实时三维人脸建模的方法，本发明没有采用先前任何标准人脸模型，而是通过配准和集成多幅人脸深度图进行直接三维实时建模。其步骤包括：系统的搭建及从kinect获取的深度信息；将深度图中的人脸分割出来；进行反投影形成三维点云；进行滤波、配准、集成、绘制及显示。采用本发明，只需要用户坐在kinect前，即可快速生成用户所需的三维实时人脸模型，极大地降低以往用激光扫描进行三维人脸建模的成本和制作时间而且也避免了用二维图像进行三维人脸建模带来的误差，以较低的成本实现了三维实时人脸建模。

主权项

一种用于于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法，其特征权利在于，该方法的步骤如下：(1)数据的获取：用户坐在kinect正前方0.5米左右处，kinect在时间τ从kinect获取一张原始的深度图D_τ，D_τ由一组像素(u,v)组成，每个像素深度值为D_τ(u,v)；(2)分割：1)本方法是将深度图分为于前景区和背景区，前景区包含用户的整个身体，背景区只包含剩下的环境。使用连通分量分析确定前景区域，当两个相邻深度像素的差异低于一个临界值时被认为是相邻的。假设前景区域是距离相机最短距离的最大部分；2)为了确定头部区域，我们的方法是寻找一条水平线将前景区域分为头部区域和躯干区域，这样便可得到头部区域：$D_{\mathrm{\τ}(u,v)}^{\′}=\left\{\begin{array}{ccccc}{D}_{\mathrm{\τ}}(u,v)& \mathrm{iff}& M_{\mathrm{\τ}}(u,v)=1& \mathrm{and}& v\≤s\\ 0& & \mathrm{other}& \mathrm{wise}& \end{array}\right.---\left(1\right)$(3)去噪：通过kinect获得的深度图通常是有噪声的，在头发区域尤其明显，这些噪声会影响我们进行图像配准,为了提高配准将运用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘；进而根据获取边缘信息对深度图进行分类，边缘区采用单向多级中值滤波算法进行降噪处理，而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰，噪声较小的高质量深度图：$D_{\mathrm{\τ}(u,v)}^{\′\′}=\left\{\begin{array}{ccc}{D}_{\mathrm{\τ}}^{\′}(u,v)& \mathrm{iff}& \mathrm{\σ}{(u,v)}^2\≤{\mathrm{\σ}}_{\max }^2\\ 0& \mathrm{other}& \mathrm{wise}\end{array}\right.---\left(2\right)$(4)反投影：为了对多幅深度图进行配准，首先讲深度图进行反投影形成一个三维点云，然后评估每一个顶点的表面法向量。通过反投影我们产生了一个顶点贴图V_τ：V_τ(u,v)＝D″_τ(u,v)K^‑1[u,v,‑1]^T    (3)每个顶点法向量可由相邻顶点的叉积进行评估：N_τ(u,v)＝[V_τ(u+1,v)‑V_τ(u,v)]×[V_τ(u,v+1)‑V_τ(u,v)]    (4)(5)配准：为了得到一个三维人脸模型，需要校准一些顶点贴图，对于每个顶点贴图,需要确定一个刚体变换矩阵$T_{g,\mathrm{\τ}}=\left[\begin{array}{cc}{R}_{g,\mathrm{\τ}}& t_{g,\mathrm{\τ}}\\ 0& I\end{array}\right]$将顶点和法向量转换到一个全局坐标空间中去，为了计算用于配准三维点云的刚体变换矩阵，我们使用基于kd‑tree加速的icp算法来求解；(6)集成：在上述步骤都完成后，将处理后的多幅深度图进行集成便形成了一个三维人脸模型。一个立体空间被用于建立人脸模型，这个立体空间只有人头的大小。立体空间为521×512×512三维空间，每一个立体像素p包含一个权值w(p)和一个符号距离f(p)，符号距离只有在一个表面附近才准确，所以他们会被截断以阻止表面间的相互干扰。这样每个被分割的深度图像D″_τ(u,v)逐渐融合成立体模型；其中$f\left(p\right)\←\frac{w\left(p\right)f\left(p\right)+w_{\mathrm{\τ}}\left(p\right)f_{\mathrm{\τ}}\left(p\right)}{w\left(p\right)f\left(p\right)}---\left(5\right)$w_τ(p)和f_τ(p)分别为增量权值和增量符号距离，为了确定w_τ(p)和f_τ(p)，立体像素p被映射到深度图中，而符号距离是通过从深度测量值中减去立体像素的深度值被计算的:$S_p=D_{\mathrm{\τ}}^{\′\′}(u,v)-\frac{{\left|\right|{T_{g,\mathrm{\τ}}}^{-1}p\left|\right|}_2}{{\left|\right|K^{-1}{[u,v,1]}^T\left|\right|}_2}---\left(7\right)$并得到$f_{\mathrm{\τ}}\left(p\right)=\mathrm{sign}\left(S_p\right)\min (1,\frac{\left|S_p\right|}{u})---\left(8\right)$(7)描绘：由于在配准时，可能会有多幅深度图在相同部位都会有空洞，尤其是在人头的边缘部分如头发耳朵及脸部边缘，这样在集成后形成的三维模型可能还是会有空洞，模型建的并不完整，所以我们在将多幅图进行集成前要对相同部位具有空洞的地方进行插值，这里我们使用三次卷积法进行插值。