[发明专利]基于几何图像中中频信息的三维人脸识别方法

摘要

一种基于几何图像中中频信息的三维人脸识别方法，步骤如下：(1)对三维人脸的库集模型和测试模型进行预处理，包括三维人脸区域切割、平滑处理和点云稀释，最后切除嘴部附近点集，保留上半张人脸；(2)通过网格参数化将上半张人脸映射至二维网格，对网格顶点的三维坐标线性插值获取各像素点的三维坐标属性，生成三维人脸模型的几何图像；(3)用多尺度哈尔小波滤波器对几何图像进行多尺度滤波，提取水平中频信息图像、垂直中频信息图像以及对角线中频信息图像作为人脸的表情不变特征；(4)用小波域结构化相似度算法计算测试模型和库集模型的相似度；(5)根据测试模型和三维人脸库集的各个库集模型的相似度，判定具有最大相似度的库集模型与测试模型属于同一个体。

主权项

1.一种基于几何图像中中频信息的三维人脸识别方法，包括以下步骤：步骤1分别对测试模型和库集模型进行预处理，所述的预处理为：步骤1.1人脸切割根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点位置，以该点为球心，90mm为半径做球，舍弃落在球体以外的点，保留球体内的点并作为后续处理的人脸区域；步骤1.2人脸表面平滑处理对切割后的人脸点云用主成分分析法(Principal Component Analysis，PCA)进行姿态校正，经主成分分析得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为空间三维坐标系，人脸点云中每个点由坐标系中x、y、z坐标唯一表示；对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格；步骤1.3上半张脸的切割舍弃三维人脸网格中位于y＝-10平面以下的点，保留受表情影响较小的上半张人脸；步骤1.4人脸点云稀释人脸的点云按照空间距离进行均匀采样，采样间隔为1mm，得到稀释的点云，对稀释的点云进行三角网格化，计算并保存生成的三维人脸网格中每个空间三角面片的边长γ_l1，γ_l2，γ_l3，l＝1，2，…，η，其中η是网格中三角面片的个数，所有三角面片边长的平均值为，如果三角面片中存在有长度大于的边，则舍弃三角面片，保留三角面片的顶点；步骤2.1分别将测试模型和库集模型人脸的点云坐标信息映射到平面上，分别形成测试模型和库集模型的几何图像，获取几何图像的方法如下：步骤2.1.1网格参数化将预处理后的三维人脸网格的边界点映射到平面上大小为512×512像素的正四边形的四条边上，且将三维人脸网格除边界点以外的其它点经过网格参数化映射到正四边形区域内，得到平面网格φ，以平面上正四边形任一顶点为原点，以与原点相交的两条边所在方向为正方向，建立逆时针坐标系MON，平面上的任意点由m、n坐标唯一表示，在正四边形的四条边上，按照逆时针方向从原点开始均匀采样b个点，采样点的坐标为t＝1，2，…b，其中b是三维人脸网格的边界点个数；记f_q为三维人脸网格的顶点，q＝1，2，…，τ，τ为顶点个数，映射到正四边形区域内的对应点的坐标为(m_q，n_q)，m_q、n_q是以下线性方程的解：Lmq=Lnq=0,∀fq∉Bmq=mq0,nq=nq0,∀fq∈B,]]>其中L是三维人脸网格的拉普拉斯Laplacian矩阵，B是三维人脸网格边界点的集合；步骤2.1.2生成几何图像将人脸网格顶点f_q＝(x_q，y_q，z_q)的三维坐标附加在对应点(m_q，n_q)上，作为点(m_q，n_q)的属性，再用线性插值方法确定正四边形区域内各像素点的属性，得到具有三维坐标属性的二维图像，称为几何图像G；步骤2.2分别对测试模型和库集模型的几何图像G滤波，得到测试模型和库集模型的中频信息，几何图像的滤波采用如下方法：步骤2.2.1对几何图像G进行多尺度哈尔Haar小波滤波步骤2.2.1.1利用哈尔转换矩阵H=12111-1]]>对几何图像G依次进行行变换和列变换，得到低频系数的集合以及水平、垂直和对角线高频系数的集合，将低频系数的集合记为LL₁，水平、垂直和对角线高频系数的集合分别记为HL₁、LH₁和HH₁；步骤2.2.1.2按照步骤2.2.1.1，对低频系数集合LL₁再次进行哈尔小波滤波，输出第二次滤波的低频系数集合和水平、垂直、对角线高频系数集合，分别记为LL₂、HL₂、LH₂和HH₂，如此循环滤波5次，每次滤波以前次滤波得到的低频系数集合为输入，输出新的低频系数集合和水平、垂直、对角线高频系数集合；步骤2.2.2提取中频信息图像提取并保存最后一次滤波输出的水平高频系数集合HL₅，垂直高频系数集合LH₅和对角线高频系数集合HH₅，以HL₅，LH₅和HH₅中的元素为像素的属性，构成三幅16×16像素大小的图像，称为水平中频信息图像、垂直中频信息图像和对角线中频信息图像；步骤3用小波域结构化相似度算法分别计算测试模型和库集模型的相似度，计算方法如下：步骤3.1计算测试模型的水平中频信息图像与库集模型的水平中频信息图像的相似度S_HL，测试模型的垂直中频信息图像与库集模型的垂直中频信息图像的相似度S_LH，测试模型的对角线中频信息图像与库集模型的对角线中频信息图像的相似度S_HH，将S_HL、S_LH、S_HH相加作为测试模型和库集模型的相似度，所述的S_HL、S_LH、S_HH分别使用待匹配的水平中频信息图像、垂直中频信息图像和对角线中频信息图像并采用小波域结构化相似度算法得到，所述的小波域结构化相似度算法为：步骤3.1.1根据水平中频信息图像、垂直中频信息图像和对角线中频信息图像的每个像素点的x，y，z的三个属性，分别将水平中频信息图像、垂直中频信息图像和对角线中频信息图像的所有像素的x属性按照所属像素的顺序排列，并分别构成水平中频信息图像、垂直中频信息图像和对角线中频信息图像的x通道，以此类推，分别构成并得到水平中频信息图像、垂直中频信息图像和对角线中频信息图像的y通道和z通道，记为：其中χ为x、y或z，C^χ表示为x通道、y通道或z通道，c₁₁为C^χ中第1行第1列的元素，c_1，2为C^χ中第1行第2列的元素，……，c_2，1为C^χ中第2行第1列的元素，……，c_16，16为C^χ中第16行第16列的元素，将所述水平中频信息图像、垂直中频信息图像或对角线中频信息图像称为中频信息图像，计算两幅待匹配中频信息图像的x通道的相似度s^x、y通道的相似度s^y及z通道的相似度s^z，将s^x、s^y和s^z相加作为对应的两幅待匹配中频信息图像的相似度S_HL、S_LH或S_HH，所述s^x、s^y、s^z由以下方法得到：用表示测试模型的一幅中频信息图像的x、y或z通道，表示库集模型的对应中频信息图像的同一通道，其中，p表示来自测试模型，g表示来自库集模型，用α和β表示和中元素的行数和列数，用Cpχ(α,β)=cα-1,β-1pcα-1,βpcα-1,β+1pcα,β-1pcα,βpcα,β+1pcα+1,β-1pcα+1,βpcα+1,β+1p]]>表示中的3×3像素邻域，元素为中的3×3像素邻域的中心元素，用Cgχ(α,β)=cα-1,β-1gcα-1,βgcα-1,β+1gcα,β-1gcα,βgcα,β+1gcα+1,β-1gcα+1,βgcα+1,β+1g]]>表示中的3×3像素邻域，元素为中的3×3像素邻域的中心元素，和的结构相似度为：s~χ(α,β)=(2Σe1=α-1α+1Σe2=β-1β+1|ce1,e2p||ce1,e2g|+0.1)(2|Σe1=α-1α+1Σe2=β-1β+1ce1,e2p(ce1,e2g)*|+0.1)(Σe1=α-1α+1Σe2=β-1β+1|ce1,e2p|2+Σe1=α-1α+1Σe2=β-1β+1|ce1,e2g|2+0.1)(2Σe1=α-1α+1Σe2=β-1β+1|ce1,e2p(ce1,e2g)*|+0.1)]]>其中，e1、e2表示和中元素的行下标和列下标，是的共轭值；令α＝2，3，…，15，β＝2，3，…，15，取的平均值作为和的结构相似度：sχ=1196Σα=215Σβ=215s~χ(α,β);]]>步骤4三维人脸的身份识别重复步骤1～3，得到测试模型和各个库集模型的相似度，比较测试模型和各个库集模型的相似度，将相似度最大的库集模型与测试模型判定为同一个体。