[发明专利]一种基于面部曲线弹性匹配的三维人脸识别方法

摘要

一种基于面部径向曲线弹性匹配的三维人脸识别方法，步骤如下：首先，对三维人脸进行预处理，提取从鼻尖点发射的多条面部径向曲线，并对径向曲线进行重采样后提取有用点；然后，对测试人脸的每条径向曲线与库集人脸的对应曲线进行分层弹性匹配，再根据测试人脸与库集人脸建立的点对应关系，利用对应点到鼻尖点的距离对曲线进行点距匹配；最后，将人脸上径向曲线的分层弹性匹配相似度和点距匹配相似度进行加权融合作为总相似度用于识别，本发明提出的三维人脸识别方法具有很好的识别性能，并且对表情、遮挡和噪声具有较好的鲁棒性。

主权项

1.一种基于面部曲线弹性匹配的三维人脸识别方法，其特征在于：该方法包括以下步骤：步骤1)，分别对测试人脸模型和N个库人脸集模型进行预处理，所述预处理步骤如下：步骤1.1)，对原始人脸模型进行切割得到人脸模型：根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点位置，以该点为球心，90mm为半径做球体，舍弃落在所述球体以外的点，保留所述球体内的点作为后续处理的人脸区域；步骤1.2)，人脸表面平滑处理及姿态校正：对切割后的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格，然后将表面平滑的三维人脸网格恢复成人脸点云；对平滑后的人脸点云用主成分分析法PCA进行姿态校正，经主成分分析PCA得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为姿势坐标系PCS，将人脸点云转换到所述姿势坐标系PCS中，人脸点云中每个点由所述姿势坐标系PCS中x、y、z坐标唯一表示；步骤2)，分别对所述步骤1)预处理后的测试人脸模型和库集人脸模型提取人脸径向曲线并对径向曲线进行重采样：步骤2.1)，在所述步骤1)姿势坐标系PCS中，记具有正面姿态的三维人脸曲面为S，平面YOZ的上半平面为p₁，计算人脸点云上每个点到所述平面p₁的距离，选择距离小于径向阈值δ＝0.3的点的集合作为径向曲线c₁；将平面p₁绕Z轴以角度α＝10为间隔逆时针旋转，得到平面p₂，按所述求取径向曲线c₁的方法得到径向曲线c₂；继续以角度α逆时针旋转平面p₁，得到平面p_k(k＝1，2，...，36)，按所述求取径向曲线c₁的方法最终得到径向曲线c_k(k＝1，2，..，36)；步骤2.2)，以所述步骤2.1)中的平面p₁与步骤1.2)中姿势坐标系PCS中的XOY平面相交得到的曲线作为参考曲线，在参考曲线上每隔1mm采样一个点，选择径向曲线c₁上与该点在参考曲线方向上的距离最近且小于重采样阈值ζ＝0.3的点作为径向曲线c₁的采样点，得到重采样径向曲线rc₁；按所述径向曲线c₁的重采样方法，依次对所述步骤2.1)得到的36条径向曲线进行重采样，得到重采样径向曲线rc_k(k＝1，2，...，36)；步骤3)，建立库集人脸模型重采样径向曲线的形状树：步骤3.1)，记重采样后的径向曲线rc₁上的采样点为(a₁，a₂，...，a_n)，n表示曲线上点的个数，选取一点a_i作为中间采样点，取记L(a_i|a₁，a_n)表示a_i相对于a₁和a_n的Bookstein坐标；所述Bookstein坐标计算方法如下：首先将a₁映射至Bookstein坐标系下(-0.5，0)处、a_n映射至Bookstein坐标系下(0.5，0)处，则a_i相对于a₁和a_n的位置L(a_i|a₁，a_n)＝(a⁽¹⁾，a⁽²⁾)由式(1)求得：a(1)=[(an(1)-a1(1))(ai(1)-a1(1))+(an(2)-a1(2))(ai(2)-a1(2))]D122-12a(2)=[(an(1)-a1(1))(ai(2)-a1(2))-(an(2)-a1(2))(ai(1)-a1(1))]D122]]>                      (1)式其中，D12=(an(1)-a1(1))2+(an(2)-a1(2))2,]]>为a_q(q＝1，2，...，n)的平面二维坐标；步骤3.2)，建立一个二叉树，每个二叉树结点存放当前首、尾和中间采样点的序号及中间采样点相对于首、尾采样点的Bookstein坐标；将L(a_i|a₁，a_n)及a_i、a₁和a_n的采样点序号存入二叉树的根结点，选取作为a₁和a_i的中间采样点，按照所述步骤3.1)中a_i相对于a₁和a_n的Bookstein坐标计算方法求出相对于a₁和a_i的Bookstein坐标并将及a₁和a_i的序号存入二叉树的根结点的左子结点；选取作为a_i和a_n的中间采样点，按照所述步骤3.1)中a_i相对于a₁和a_n的Bookstein坐标计算方法求出相对于a_i和a_n的Bookstein坐标并将及a_i和a_n的序号存入二叉树的根结点的右子结点；步骤3.3)，按照所述步骤3.1)和步骤3.2)，继续求取所述左子结点的子结点和右子结点的子结点，直到二叉树结点的首、尾采样点序号之差为1时，不再求取该结点的子结点；当二叉树的所有底层结点不可再求取子结点时，二叉树建立完毕，建立的二叉树称为形状树；步骤3.4)，重复所述步骤3.1)至步骤3.3)，建立库集人脸模型的36条重采样径向曲线的形状树；步骤4)，将所述步骤2)得到的测试人脸模型重采样径向曲线与所述步骤3)建立的库集人脸模型重采样径向曲线的形状树进行分层匹配：步骤4.1)，选取测试人脸模型上的一条重采样径向曲线B，记重采样径向曲线B上的采样点为(b₁，b₂，...，b_m)，重采样径向曲线B与库集人脸模型对应的重采样径向曲线的形状树A进行比较，比较步骤如下：选取重采样径向曲线B上一点b_j，选取规则为计算b_j相对于b₁和b_m的Bookstein坐标L(b_j|b₁，b_m)；将所述Bookstein坐标L(b_j|b₁，b_m)与库集形状树的根结点存储的Bookstein坐标L(a_i|a₁，a_n)进行比较，Bookstein坐标比较方式如下：对于Bookstein坐标分别为(x₁，y₁)和(w₁，z₁)的两点，首先根据式(2)：(u₁，v₁)＝(w₁cosθ-z₁sinθ，w₁sinθ+z₁cosθ)                         (2)式将(w₁，z₁)映射为(u₁，v₁)，其中然后计算普式距离dif为：dif=(u1-x1)2+(v1-y1)2]]>普式距离dif即为两个Bookstein坐标的相似度；记A₁、A₂分别为库集形状树的左、右子树，B₁＝(b₁，b₂，...b_j)和B₂＝(b_j，b_j+1，...，b_m)分别为中间点b_j将重采样径向曲线B分成的左子曲线和右子曲线；重采样径向曲线B与库集形状树A之间的相似度为：其中，λ_A为权重因子，为A₁和B₁的相似度，为A₂和B₂的相似度，dif为两个Bookstein坐标的相似度；如果b_j使得A₁和B₁的相似度A₂和B₂的相似度及两个Bookstein坐标的相似度dif加权之和S₁最小，则S₁作为径向曲线B与库集形状树A之间的相似度其中和分别按所述计算方式计算；步骤4.2)，按照所述步骤4.1)，求取测试人脸模型所有的重采样径向曲线与库集人脸模型的重采样径向曲线的对应形状树之间的相似度对所有进行加权融合作为最后测试人脸模型与库集人脸模型的分层匹配相似度其中，曲线权重因子ωk=e-k/36,k=1,...,18e-(38-k)/36,k=19,...,36;]]>步骤4.3)，按照所述步骤4.1)和步骤4.2)，计算测试人脸模型与N个库集人脸模型的分层匹配相似度，得到分层匹配相似度向量为测试模型第l个库集模型的分层匹配相似度，其中m＝1，2，...，N；步骤5)，建立测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线的有用点对，然后利用重采样径向曲线上有用点对中的有用点到人脸模型鼻尖点的距离对测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线进行点距匹配：步骤5.1)，对所述步骤2.2)得到的重采样参考曲线上的任一点pt，使用采样标志flag_pt标志该点位置是否包含采样点；重采样时参考曲线上每隔1mm的对应位置上若存在采样点，则参考曲线该点位置处的采样标志flag_pt设为1，否则设为0；求出参考曲线上每隔1mm的对应位置处采样点是否可用的有用点标志pflag：pflag＝flag_a·flag_b当测试人脸采样参考曲线上一点采样标志flag_b和库集人脸采样参考曲线上该点采样标志flag_b均为1时，有用点标志pflag为1，则采样参考曲线上对应的重采样径向曲线上的采样点a和采样点b为有用点，该对采样点才能参与比较；按照所述有用点判断方法，对所有重采样径向曲线上的点进行有用点判断；步骤5.2)，比较测试人脸模型重采样径向曲线和库集人脸模型重采样径向曲线的点距相似度：求取库集人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为测试人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为则第k条重采样径向曲线的特征相似度φ_k定义如式(3)：φk=Σt=1nkpflagt·|(dPt-dGt)|Nk]]>                                       (3)式其中n_k为第k条重采样径向曲线总共采样点数，有用的采样点对数记为N_k，pflag_t为采样点有用点标志；计算出所有的重采样径向曲线的特征相似度φ_k(k＝1，2，...，36)并进行加权求和，得到测试人脸模型与库集人脸模型的点距匹配相似度φ：φ=Σk=136ωk·φk]]>其中ω_k为步骤4.2)所述的曲线权重因子；步骤5.3)，按照所述步骤5.1)和步骤5.2)，计算测试人脸模型与N个库集人脸模型的点距匹配相似度，得到点距匹配相似度向量为测试模型第m个库集模型的点距相似度，其中m＝1，2，...，N；步骤6)，将所述步骤4)得到的分层匹配相似度向量S_h和步骤5)得到的点距匹配相似度向量S_p加权融合得到测试人脸模型和库集人脸模型的最终相似度向量S，加权融合方法如下：分别对分层匹配相似度向量S_h和点距匹配相似度向量S_p进行归一化：其中，为测试模型第l个库集模型的分层匹配相似度，φ_pm为测试模型第m个库集模型的点距相似度；得到归一化后的分层匹配相似度和归一化后的点距匹配相似度φ′_pm，从而得到归一化后的分层匹配相似度向量S′_h和归一化后的点距匹配相似度向量S′_p；对所述归一化后的分层匹配相似度向量S′_h和归一化后的点距匹配相似度向量S′_p进行加权求和，S＝w_hS′_h+w_pS′_p，得到最终相似度向量S，其中w_h＝0.6，w_p＝0.4，所述最终相似度向量S中最小的相似度值对应的库集人脸模型为最终的识别结果。