[发明专利]基于平行卷积神经网络特征图融合的人脸表情识别方法

权利要求书

1.一种基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，包括以下步骤：

将人脸表情图像进行包括截取人脸面部区域和归一化步骤在内的预处理操作；

将处理后图像输入平行卷积神经网络的不同通道进行卷积池化运算；

对平行卷积神经网络的最后一个池化层输出的特征图进行特征比例融合得到融合后特征图；

再将融合后特征图展开成一维向量的全连接形式，然后做不同连接复杂度的全连接的特征信息组合；

最后将组合信息用于分类识别；

所述对网络最后一个池化层输出的特征图进行特征比例融合的步骤为：将通道1和通道2的特征图按照学习比例融合，各通道输出乘以一权值向量后进行特征图叠加；如下式：

F＝aA+bB (3)

式中，a,b分别为第一通道特征权重和第二通道特征权值，为可训练变量；A,B分别为第一通道特征图矩阵和第二通道特征图矩阵；F为融合后特征信息矩阵，融合后特征图F展开为大小为4096个元素的一维向量形式FC1；

所述将获取的特征信息展开成一维向量的全连接形式，后做不同连接复杂度的全连接的特征信息组合，具体包括：

将FC1一维向量分别连接到512单元神经元的FC1-1和FC1-2的全连接层上，其FC1-1采用保留比例0.3的Dropout稀疏形式连接，FC1-2采用保留比例为0.6的Dropout稠密连接形式。

2.根据权利要求1所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述对获取的人脸表情图像进行截取人脸面部区域和归一化预处理，具体包括：

人脸面部区域获取：获取人脸面部区域，选择256×256大小的图像区域；

归一化：将获取的人脸表情图像进行归一化使图像数值在[0,1]范围内。

3.根据权利要求1所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述将处理后图像输入平行卷积神经网络不同通道进行卷积池化运算，具体步骤如下：

第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数，再将8张大小为64×64的特征图进行批量归一化处理；通道1和通道2均做相同处理。

4.根据权利要求3所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述1通道或2通道的卷积和池化运算过程为：

1)使用两个连续卷积层结构，其卷积核大小为5×5；

2)采用大小2×2的池化核进行最大池化处理；

3)批量归一化处理,对最大池化层输出数据求得整体的均值和方差然后采用式(1,2)调整数据结构分布；

式中x_i为输入值，μ_B为批次的均值，σ_B是批次的方差，γ，β为可训练参数。

5.根据权利要求3所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述通道1连接形式:

Conv1_3--Max_pooling--Conv1_4--Max_pooling--Conv1_5--Max_pooling；

Conv1_x表示1通道第x个卷积层，Max_pooling表示最大池化层；

通道2连接形式:

Conv2_3--Max_pooling--Conv2_4--Max_pooling--Conv2_5--Max_pooling；

Conv2_x表示2通道第x个卷积层，Max_pooling表示最大池化层。

6.根据权利要求1所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，将FC1-1和FC1-2分别连接7个神经元的输出单元OUT1,OUT2，之后输出OUT由OUT1和OUT2叠加。

7.根据权利要求6所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，将融合后输出的OUT输入到Softmax分类器进行分类置信度概率计算，其向量中最大值索引号为分类表情编号，将分类的编号对应表情类别字符数组，最后将表情识别显示为中性、生气、厌恶、恐惧、高兴、悲伤、惊讶的表情类别。