[发明专利]基于多特征融合的人脸表情自动识别方法

权利要求书

1.基于多特征融合的人脸表情自动识别方法，其特征在于：是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：

第一步，人脸表情图像及人脸表情重要区域图像预处理：

(1.1)人脸表情图像几何归一化：

通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，

O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y) (1)，

其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化；

(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：

计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；

计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；

(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：

对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，

J(x,y)＝I'(x,y)/I'_av*I(x,y) (2)，

式(2)中，I’_av是灰度归一化的人脸表情图像J的像素平均值；

对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，K(x,y)＝F'(x,y)/F′_av*F(x,y) (3)，

式(3)中，F′_av是灰度归一化的人脸表情重要区域图像K的像素平均值；

至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；

第二步，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：

将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：

其中(x₀,y₀)为Gabor滤波后的坐标，x₀＝x cosθ+y sinθ,y₀＝-x sinθ+y cosθ，θ是Gabor滤波器的方向，ω₀是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω₀，其中，ω₀分别为对应于每一个ω₀，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；

提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb₁，提取出的人脸表情图像J的Gabor特征矩阵记为Gb₂，Gb₁和Gb₂分别乘以不同权重w₁和w₂得到总的Gabor特征矩阵记为G_t，w₁和w₂是经验值，具体公式如下，

G_t＝[w₁Gb₁ w₂Gb₂] (4)，

由此融合人脸表情图像的Gabor特征和人脸表情重要区域图像的Gabor特征，得到两层人脸表情图像的Gabor特征；

第三步，利用ACILBP算子提取多尺度ACILBP特征直方图：

对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图，过程是：首先，对第一步得到的人脸表情图像J细化为N个尺度，即在第m个尺度将人脸表情图像划分为L_m×L_m个子区域，m＝1,…,N，其次，在人脸表情图像J的每一个尺度的每个子区域上统计ACILBP特征直方图的分布序列，将每一尺度的每个子区域ACILBP特征直方图串联作为当前尺度的ACILBP特征直方图，最后串联N个尺度的ACILBP特征直方图作为N尺度的ACILBP特征直方图；

所述ACILBP算子是在LBP算子的基础上，增加了邻域的像素差值的影响，ACILBP算子采用“0”和“1”表示两种稳定状态，z表示待定状态，z的状态根据中心像素点与周围像素点之间关系以及相邻周围像素点之间关系而定，LBP邻域的左上角设置为g₀，由顺时针方向，根据采样半径R以及周围像素点个数P依次命名周围像素点为g₀,g₁,g₂,…,g_P-1，ACILBP算子的具体计算方法如下：

步骤1，根据公式(5)计算出P位二进制LBP值，

其中

上述式(5)中，(x_c,y_c)为中心像素的坐标，g_c为中心像素的像素值，g_i为其周围像素值；

步骤2，根据公式(7)计算以(x_c,y_c)为中心像素的P位相邻周围像素关系二进制值，

其中

且当i＝0时，g_i-1的值为g_P-1的值；

步骤3，比较以(x_c,y_c)为中心像素的P位二进制LBP值与P位相邻周围像素关系二进制值ZLBP值，若LBP值与ZLBP值对应位置的数值相等，则ACILBP对应位置取该值，若不相等，则计算LBP值中对应位置周围像素点与中心像素点差值的绝对值，并同时计算ZLBP值中对应位置周围像素点与前一位置周围像素点差值的绝对值，取二者中绝对值大的对应位置二进制值作为ACILBP对应位置二进制值，如公式(9)，

其中，

上述式(10)中，当i＝0时，g_i-1的值为g_P-1的值；

由此完成对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图；

第四步，特征融合得到人脸表情特征数据：

将上述第二步融合得到两层人脸表情图像的Gabor特征矩阵G_t与第三步提取的多尺度ACILBP特征直方图进行串联融合，得到人脸表情特征数据；

第五步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：

将上述第一步中输入的全部人脸的RGB图像，取其中一半作为训练集，另一半作为测试集，分别经过上述第一步到第四步的处理后，得到训练集的人脸表情特征数据和测试集的人脸表情数据，将训练集的人脸表情特征数据输入到SVM分类器中进行人脸表情的训练得到支持向量，再将待测试人脸表情图像的人脸表情特征数据和上述得到的支持向量送入到SVM支持向量机的svmpredict函数中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数c与g，拉格朗日因子c＝820，g＝2.8，由此实现人脸表情自动识别。

2.根据权利要求1所述基于多特征融合的人脸表情自动识别方法，其特征在于：所述将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，其中M＝76，M'＝93，U＝70，U'＝21，V＝30，V'＝35，W＝56，W'＝30。