[发明专利]一种姿态归一化的非正面人脸表情识别方法

摘要

本发明公开了一种基于姿态归一化的非正面人脸表情识别方法，包括首先对训练样本集中的表情图像通过非线性回归模型学习，得到非正面人脸特征点到正面人脸特征点的映射函数；然后对待测试的非正面人脸图像使用多模板主动表观模型进行姿态估计和特征点定位，通过相应姿态的映射函数将非正面人脸的特征点归一化到正面姿态；最后使用支持向量机对正面人脸特征点的几何位置进行表情分类。本发明提出了一个简单有效的非正面人脸表情识别解决方案，一定程度上解决了人脸姿态变化造成表情类内差异大的问题，方案简洁有效，可满足实时非正面人脸表情识别的需求。

主权项

基于姿态归一化的非正面人脸表情识别方法，其特征在于，对训练样本集中的表情图像通过非线性回归模型学习，得到非正面人脸特征点到正面人脸特征点的映射函数；对测试样本中的表情图像进行人脸姿态估计和特征点定位，并使用相应姿态的映射函数，将非正面人脸的特征点归一化到正面；采用支持向量机对正面人脸特征点的几何位置进行表情分类；具体步骤为：1)采用三对点法将训练样本集中的人脸图像在不同姿态下进行人脸特征点对齐；由于鼻尖点和两个内侧眼角点不易受人脸表情的影响，因此固定这三点求取相应的仿射变换，通过仿射变换可以在不同姿态下将人脸特征点对齐到相应的标准人脸；2)将训练样本集中非正面姿态k的人脸图像通过步骤1)对齐人脸后，使用高斯过程回归模型学习得到姿态k到正面姿态的映射函数f(k)，不同的姿态k可以学习得到不同的f(k)，通过相应的f(k)就可将姿态k的人脸特征点位置进行姿态归一化，实现非正面人脸特征点位置到正面人脸特征点位置的映射，从而将非正面人脸表情转化到正面人脸姿态来进行识别；3)对训练样本集中不同姿态人脸训练对应姿态的主动表观模型，得到不同姿态下的AAM模板，使用多模板AAM法可在估计人脸姿态的同时实现人脸特征点定位；4)对输入的测试人脸表情图像，通过所述步骤3)估计得到人脸姿态k并实现人脸特征点的定位，然后通过所述步骤2)将非正面人脸姿态的特征点归一化到正面人脸姿态，得到其在正面姿态的人脸特征点位置；5)使用基于径向基核函数的支持向量机，将所述步骤4)中得到的正面人脸特征点的几何位置作为特征进行表情分类，得到表情识别结果；所述正面人脸特征点的几何位置包括眼睛、鼻子、嘴唇外侧共37个特征点的二维几何坐标；具体选取的特征点如下：左右两侧眉毛各5个特征点，左右眼各6个特征点，鼻子3个特征点，嘴唇外侧12个特征点；所述非线性回归模型采用高斯过程回归模型，高斯过程回归模型的核函数使用均方指数核函数与线性核函数相结合的形式；假定训练样本集由Nk对非正面人脸姿态k和对应的正面人脸姿态特征点组成，记为{Dk,D0}；Dk和D0中的每个元素分别记为和i＝1,2,…,Nk，它们均为2d维的向量，d为人脸特征点个数，所求目标就是要通过高斯过程回归学习映射函数f(k)：通过f(k)将映射到pi0=f(k)(pik)+ϵi---(4)]]>其中，噪声εi～N（0，σ2)，σ2为噪声方差；f(k)通过高斯过回归方式来求解；高斯过程的统计特性完全由其均值函数和协方差函数所确定，则对于一个新的人脸特征点输入它所对应的预测均值和协方差函数分别为：f(k)(p*k)=k*T(K+σ2I)-1D0---(5)]]>cov(k)(p*k)=ker(p*k,p*k)-k*k(K+σ2I)-1k*---(6)]]>其中，ker(·,·)为高斯过程回归的核函数，设为如下形式：ker(pik,pjk)=σf2exp(-12(pik-pjk)TΛ-1(pik-pjk))+σspikpjk---(7)]]>该核函数实际为均方指数核函数和线性核函数的结合，可有效处理线性和非线性的数据；其中，i,j＝1,2,…,Nk，和为超参数，是信号方差，决定了预测值的不确定度；而Λ为对应于不同输入分量pi的方差尺度；此外，线性核的超参数σs起到控制f(k)输出尺度的作用；确定了核函数的形式，就可通过高斯过程回归对训练样本集的训练来确定超参数的值，从而建立姿态k到正面姿态的回归模型；记所有超参数组成的向量为θ，X和y仍为样本集的输入和输出，则由贝叶斯原理可得：p(θ|X,y,k)=p(y|X,k,θ)p(θ)p(y|X,k)---(8)]]>其中，分母与超参数θ无关，因此忽略；而假定先验分布p(θ)为近似均匀分布，因而也忽略；最终可将求p(θ|X,y,k)的极值点问题转化为求p(y|X,k,θ)的极值点，记超参数估计值为则：θ^=argmax(p(y|X,k,θ))---(9)]]>求其对数极值，即：L(θ)=-12(nlog(2π)+log|K(X,X)+σ2I|+yT(K(X,X)+σ2I)-1y)---(10)]]>上式是个典型无约束优化问题，可通过共轭梯度算法求其极值，从而估计得到超参数值；通过训练得到姿态为k的回归模型的超参数值之后，当有姿态为k的特征点测试样本输入时，就可通过式(5)使用高斯过程回归模型预测得到其在正面姿态的人脸特征点位置。