[发明专利]基于多特征融合的人脸表情自动识别方法

说明书

本发明基于多特征融合的人脸表情自动识别方法，涉及识别图形的方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，步骤是：人脸表情图像及人脸表情重要区域图像预处理；对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征；利用ACILBP算子提取多尺度ACILBP特征直方图；特征融合得到人脸表情特征数据；采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别。本发明克服了现有技术普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。

技术领域

本发明的技术方案涉及识别图形的方法，具体地说是基于多特征融合的人脸表情自动识别方法。

背景技术

人类的语言分为自然语言和形体语言两类，面部表情是形体语言的一部分。心理学家研究发现在人类进行会话交流时：语言内容占7％；说话时的语调占38％；而说话人的表情占55％。所以人脸表情在人类交往活动中起到了重要的作用。与之相对应的表情识别一直是模式识别与计算机视觉领域中十分活跃的热点。随着人工智能和模式识别的发展，人脸表情识别受到的关注日益提高，在人机交互中的地位越发重要。

现今，国内外有很多团队对人脸表情识别进行研究，国内有清华大学、中国科技大学和中科院自动化研究所等，国外有麻省理工学院(MIT)、东京大学、卡耐基梅隆大学(CMU)机器人研究所和日本国际电信技术研究所(ATR)等。人脸表情识别的过程主要包括：图像预处理、特征提取和分类识别，其中特征提取是人脸表情分类的难点与重点。常用特征提取方法分为基于统计特征提取方法和基于频域特征提取方法。基于统计特征提取方法有：线性判别分析方法、主成分分析方法和独立成分分析方法；基于频域特征提取方法有：Gabor特征方法和局部二值模式(以下简称LBP)方法，其中Gabor特征方法可有效提取多尺度多方向人脸表情特征，且其对光照变化和噪声鲁棒性较强，缺点是计算量较大；LBP方法能描述图像局部信息，且具有灰度不变性优点，但仍然存在不足之处：(1)LBP方法过于依赖中心像素点的阈值作用，忽略周围邻近像素点间关系，从而使得LBP对于噪声和光照的鲁棒性有待加强；(2)局部信息和整体信息的平衡性有待加强，在统计LBP特征直方图时，若对图像分块过少，则会忽略局部信息，若对图像分块过多，则忽略整体信息。针对LBP方法的不足，Liao等在“Dominant local binary patterns for texture classification”一文中提出了显性二值局部模式(简称DLBP)方法，该方法对于图像的旋转以及噪声、光照有良好的适应性,但数据维度较大，计算复杂度高，不能很好地兼顾局部信息和整体信息关系。CN103971095A公开了一种基于多尺度LBP和稀疏编码的大规模人脸表情识别方法，该方法首先建立人脸表情数据库，使用随机抽样技术生成训练数据库与测试数据库，之后使用多尺度的LBP特征表示人脸表情特征，进而生成稀疏编码方法所需要的字典，通过对新的人脸表情样本求解最优稀疏系数，并累加不同人脸表情的稀疏系数来识别人脸表情样本。但该方法并没有解决LBP过于依赖中心像素点的阈值作用，忽略周围邻近像素点间关系和局部信息、整体信息的平衡性有待加强的不足,识别率不高。CN105005765A公开了一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法，该方法首先通过手工分割的方法提取出表情图像中的“纯脸”区域，并进行预处理；然后通过分块提取Gabor特征统计量，并融合灰度共生矩阵进行表情识别，该方法不能克服光照以及噪声的影响，且没有充分利用面部重要区域纹理信息。

总之，现有的人脸表情识别方法普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。

发明内容

本发明所要解决的技术问题是：提供基于多特征融合的人脸表情自动识别方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，克服了现有的人脸表情识别方法普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。