[发明专利]基于多特征融合的人脸表情自动识别方法

摘要

本发明基于多特征融合的人脸表情自动识别方法，涉及识别图形的方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，步骤是：人脸表情图像及人脸表情重要区域图像预处理；对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征；利用ACILBP算子提取多尺度ACILBP特征直方图；特征融合得到人脸表情特征数据；采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别。本发明克服了现有技术普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。

主权项

基于多特征融合的人脸表情自动识别方法，其特征在于：是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：第一步，人脸表情图像及人脸表情重要区域图像预处理：(1.1)人脸表情图像几何归一化：通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)     (1)，其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化；(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，J(x,y)＝I'(x,y)/I'av*I(x,y)       (2)，式(2)中，I’av是灰度归一化的人脸表情图像J的像素平均值；对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，K(x,y)＝F'(x,y)/F′av*F(x,y)         (3)，式(3)中，F′av是灰度归一化的人脸表情重要区域图像K的像素平均值；至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；第二步，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：Gb(x0,y0,θ,ω0)=12πσ2exp[-(x02+y02)/(2σ2)]×[exp(jω0x0)-exp(-ω20σ2/2)]---(3),]]>其中(x0,y0)为Gabor滤波后的坐标，x0＝xcosθ+ysinθ,y0＝‑xsinθ+ycosθ，θ是Gabor滤波器的方向，ω0是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω0，其中，ω0分别为对于每一个ω0，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb1，提取出的人脸表情图像J的Gabor特征矩阵记为Gb2，Gb1和Gb2分别乘以不同权重w1和w2得到总的Gabor特征矩阵记为Gt，w1和w2是经验值，具体公式如下，Gt＝[w1 Gb1 w2 Gb2]                     (4)，由此融合人脸表情图像的Gabor特征和人脸表情重要区域图像的Gabor特征，得到两层人脸表情图像的Gabor特征；第三步，利用ACILBP算子提取多尺度ACILBP特征直方图：对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图，过程是：首先，对第一步得到的人脸表情图像J细化为N个尺度，即在第i个尺度将人脸表情图像划分为Li×Li个子区域，i＝1,…,N，其次，在人脸表情图像J的每一个尺度的每个子区域上统计ACILBP特征直方图的分布序列，将每一尺度的每个子区域ACILBP特征直方图串联作为当前尺度的ACILBP特征直方图，最后串联N个尺度的ACILBP特征直方图作为N尺度的ACILBP特征直方图；由此完成对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图；第四步，特征融合得到人脸表情特征数据：将上述第二步融合得到两层人脸表情图像的Gabor特征矩阵Gt与第三步提取的多尺度ACILBP特征直方图进行串联融合，得到人脸表情特征数据；第五步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：将上述第一步中输入的全部人脸的RGB图像，取其中一半作为训练集，另一半作为测试集，分别经过上述第一步到第四步的处理后，得到训练集的人脸表情特征数据和测试集的人脸表情数据，将训练集的人脸表情特征数据输入到SVM分类器中进行人脸表情的训练得到支持向量，再将待测试人脸表情图像的人脸表情特征数据和上述得到的支持向量送入到SVM支持矢量机的svmpredict函数中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数c与g，拉格朗日因子c＝820，g＝2.8，由此实现人脸表情自动识别。