[发明专利]一种三维人脸模型的对称性分析方法

摘要

本发明公开了一种三维人脸模型的对称性分析方法，该方法通过对输入人脸模型进行采样，并对采样结果进行配对进而得到对称特征；再对所得对称特征进行提取和聚类，进而得出模型所存在的对称性关系。本发明通过在特征提取时添加PCA约束，在计算资源有限的情况下有效地提升了初始采样点的最大数量；通过改进对称特征的提取方法，提升了聚类结果的有效性；通过在特征‑网格重匹配时添加松弛因子，在保证结果稳定性的同时将匹配延伸到了整个模型。在Kinect采集并使用KinectFusion重建的人脸模型上，进行了测试并验证了方法的有效性。

主权项

一种基于特征聚类的人脸模型对称性分析方法，其特征在于，该方法包括如下步骤：(1)模型的采样：获取顶点V的位置信息、顶点的法向n、顶点的主曲率单位向量c1和c2、顶点的主曲率单位向量长度k1和k2，以及曲率比r＝min(k1/k2,k2/k1)。其中，点V处主曲率单位向量通过计算得到，其公式如下：ci=EigenVectori(Σe∈Evarcsin(ne,left×ne,right·e)·minlength(Ev)·e⊗e))]]>式中，Ev为点的邻接边集，ne,left和ne,right分别表示边e左右两侧的面法向量，e为边e的单位向量，表示张量积。EigenVectori函数表示求此矩阵特征值第i大的单位特征向量，其对应的特征值即为单位向量长度ki，i为1、2。(2)采样结果的筛选：筛选的条件有如下两条：(a)去掉k1和k2小于0.00001的采样点；(b)去掉r<curveThres的采样点，curveThres为预设参数，用来约束k1和k2的比例关系。(3)模型特征的生成：令P为采样点集，选择P的一个随机子集P'，生成一个随机的平面D，把P'中所有顶点的位置、法向、曲率信息都以D为对称平面作镜像变换。接着逐个把P和P'中的采样点进行配对，得到点对集S：S＝{(Vi,Vj),Vi∈P Vj∈P′}利用点的法向和曲率信息，对点对进行以下筛选：(a)生成一个随机非零方向d，对每一个点对(Vi,Vj)，如果(Vi‑Vj)·d<0，那么就放弃这个点对。(b)计算伸缩量sij＝(ki,1/kj,1+ki,2/kj,2)，用以估计点Vi变换到点Vj时局部形状的伸缩因子。maxscale为预设参数，当时，就认为缩放过大，从而放弃此点对。(c)在对人脸模型的顶点坐标集进行PCA分析之后，找出最大的单位主成分向量m。对每一个点对，如果则放弃此点对，maxDirThres为预设阈值。筛选后，定义特征为如下的七维向量：Tij=(sij,Rijx,Rijy,Rijz,tijx,tijy,tijz)]]>其中，sij为缩放因子，为旋转因子的欧拉角表示，为位移因子。点集中的所有点都是以为对称平面D作过一次镜像变换的，因此原始点集中的镜像对称在特征中就可以表示为沿某条轴作角度为π的旋转。为了确定唯一的旋转关系，使用(Vi‑Vj)×(ni×nj)作为旋转轴，将点对的两个局部坐标系法向进行对齐，再对齐其余两个轴。得到旋转变换欧拉角之后，就可以用旋转后Vi与Vj的坐标差来确定：tij＝Vj‑sijRijVi(4)模型特征的聚类分析：使用Mean‑shift算法对模型特征的聚类。具体如下：(a)随机在样本空间确定一个区域Ω，称为样本窗口；(b)计算Ω内所有样本的Mean‑Shift向量Mh,G；(c)根据Mean‑Shift向量Mh,G移动样本窗口Ω，重复上面的过程直到其收敛。在Mean‑shift算法求解的过程中，需要对特征之间的距离进行定义。针对本文中的模型特征，规定特征之间的距离为：Dist=β1Δs+β2(ΔRx2+ΔRy2+ΔRz2)+β3(Δtx2+Δty2+Δtz2)]]>其中，β1、β2、β3分别为伸缩因子、欧式距离和旋转距离的权重。(5)特征‑网格的重映射：对聚类中心附近的特征进行平均，就可以得到对称关系。通过在聚类过程中向特征中添加特征的源点对信息，可以得到每个对称关系所关联的点对列表。(6)对称点对的延伸搜索：从起始点对出发，沿邻边逐步进行扩展搜索，如果新搜索到点对满足给定阈值下的对称性约束，则选出局部最优配对加入到待扩展队列准备进行下一次的扩展，直到可扩展的顶点都搜索完毕为止。在搜索的过程中，点对之间的距离使用如下的公式计算：Dist=|n~v·nt|·||v~-t||]]>其中为点v变换后的法向。为点v变换后的坐标。如果对于预设阈值ε满足Dist>ε即放弃对此点对的延伸。(7)网格匹配的修正：给定目标误差函数：E=Σ(i,j)∈G||Vj-sRVi-t||]]>使用ICP算法通过不断更新最近点对的匹配关系，结合最小二乘法解出更优的旋转参数R和位移参数t，使得总体误差隆到一个极小值。利用ICP得到的解替换掉之前使用的特征，重复迭代上节和本节的过程，直到模型中的所有能扩展到的点都匹配到为止。(8)网格匹配迭代过程中的优化：在迭代过程中对阈值ε进行松弛操作，即每一轮结束后的误差阈值都乘以一个大于1的系数λ，得到εnew作为下一轮匹配时的ε：εnew＝λε。(9)对称矩阵的提取：得到最终的匹配特征之后，将特征展开为4×4的仿射变换L：L＝s·Mirror(D)Trans(t)Rot(R)。其中，Mirror(D)表示(3)中提到的以平面D为对称面的镜像变换矩阵，Trans(t)表示位移t为的平移矩阵，Rot(R)表示欧拉角为R的旋转矩阵。