[发明专利]基于平行卷积神经网络特征图融合的人脸表情识别方法

说明书

本发明请求保护一种基于平行卷积神经网络特征图融合的人脸表情识别方法。该方法模拟人双眼视觉通道，设计一种平行结构的卷积神经网络，在卷积池化层后对平行通道的特征图进行融合；并在全连接层结构上，将其中一通道采用稀疏全连接输出，另一通道采用稠密全连接输出，最后二者输出融合并分类；采用人脸表情数据进行模型训练达到较高识别率后使用测试样本检测模型的识别效果，并获得较高的识别准确率，为情感分析人脸表情识别提供了一个新的方法。

技术领域

本发明属于图像识别领域，特别是运用平行卷积神经网络进行人脸表情特征提取并识别的方法。

背景技术

人脸表情包含丰富的情感真实信息，准确高效的识别人脸表情是图像视觉领域的一个重要研究方向。人脸表情信息可运用于远程教育、辅助医疗、刑侦测谎等多领域。人脸表情识别技术是通过特定的方法进行人脸表情特征提取后对特征信息进行分类识别的过程。

目前人脸表情识别常用的特征提取可分为基于形状模型和纹理模型方法。其中基于形状模型的主要有主动外观模型，其通过图像之间的差异获取特征，方法简单便捷，缺点在于对具有光照，复杂背景以及角度干扰情形下的识别效果较差。基于纹理模型的典型方法有局部二值模型(LBP)和Gabor小波以及方向梯度直方图(HOG)特征的提取，这类方法对图像的某类特征进行提取，相比形状模型可使特征目标明确化，但是由于人脸表情的微弱性导致不同表情之间的差异性低，提取的特征不足导致识别误差较大。

近年，深度学习方法对特征的自动提取能力被运用到人脸表情识别上。采用常规的CNN、DBN、RNN模型对具有较大差异表情有一定的识别的效果，但对微小表情特征的区分识别效果不理想。为使模型对微小差异表情特征有足够的特征提取能力的同时方便模型训练完成，从而具有较高的识别准确率，满足实际的场景运用需求，本发明提出一种平行卷积神经网络特征图融合的人脸表情识别方法，以适用于复杂条件下的人脸表情识别。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高对复杂场景下的人脸表情识别准确度的基于平行卷积神经网络特征图融合的人脸表情识别方法。本发明的技术方案如下：

一种基于平行卷积神经网络特征图融合的人脸表情识别方法，其包括以下步骤：

将人脸表情图像进行包括截取人脸面部区域和归一化步骤在内的预处理操作；

将处理后图像输入平行卷积神经网络的不同通道进行卷积池化运算；

对平行卷积神经网络的最后一个池化层输出的特征图进行特征比例融合得到融合后特征图；

再将融合后特征图展开成一维向量的全连接形式，然后做不同连接复杂度的全连接的特征信息组合；

最后将组合信息用于分类识别。

进一步的，所述对获取的人脸表情图像进行截取面部区域和归一化预处理，具体包括：

人脸面部获取：获取人脸面部区域，选择256×256大小的图像区域；

归一化：将获取的人脸表情图像进行归一化使图像数值在[0,1]范围内。

进一步的，所述将处理后图像输入平行卷积神经网络不同通道进行卷积池化运算，具体步骤如下：

第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数，再将8张大小为64×64的特征图进行批量归一化处理。通道1和通道2均做相同处理。

进一步的，所述1通道或2通道的卷积和池化运算过程为：

1)使用两个连续卷积层结构，其卷积核大小为5×5；