[发明专利]一种基于等分特征图的表情识别方法及系统

权利要求书

1.一种基于等分特征图的表情识别方法，其特征在于，包括：

步骤S1，获取待识别人脸表情图像；

步骤S2，将所述待识别人脸表情图像输入基于卷积神经网络的表情分类模型，所述表情分类模型输出第一识别结果；

获取表情分类模型的卷积神经网络的中间层特征图，将所述中间层特征图N等分后获得N个局部特征图，所述N为大于1的正整数，分别对N个局部特征图进行局部分类处理获得局部分类结果和局部权值，累加N个局部特征图的局部分类结果与局部权值的乘积值，将累加结果作为第二识别结果；

所述局部分类处理的过程包括：

步骤A，将局部特征图通过一个卷积核提取所述局部特征图的高层特征信息，所述高层特征信息与局部特征图的大小相同；

步骤B，对步骤A中获得的高层特征信息进行全局平均池化处理和reshape处理得到第一特征图；

步骤C，将所述第一特征图输入第一局部全连接层，对所述第一局部全连接层输出的结果进行sofmax函数处理得到局部分类结果，将第一特征图输入第二局部全连接层获得局部权值；

步骤S3，融合第一识别结果和第二识别结果获得所述待识别人脸表情图像的最终识别结果。

2.如权利要求1所述的一种基于等分特征图的表情识别方法，其特征在于，将所述中间层特征图在高和宽方向等分。

3.如权利要求1所述的一种基于等分特征图的表情识别方法，其特征在于，采用如下方法之一使N个局部权值均分散在区间[0,1]内，并且N个局部权值之和为1：

方法一：在局部分类处理过程的神经网络的训练过程中，将N个局部特征图的损失函数相加得到合并的损失函数，以合并的损失函数收敛为一个目标不断优化所述神经网络，训练过程中，待识别的N个局部特征图分别输入所述神经网络获得对应的局部权值，经过softmax函数将获得的N个局部权值映射到区间[0,1]内，训练结束后的权值即最终局部权值；

方法二：在局部分类处理过程的神经网络的训练过程中，待识别的N个局部特征图分别输入所述神经网络获得对应的局部权值，经过softmax函数将获得的N个局部权值映射到区间[0,1]内，训练结束后的权值即最终局部权值。

4.如权利要求1所述的一种基于等分特征图的表情识别方法，其特征在于，在所述步骤S3中，融合第一识别结果和第二识别结果的具体过程包括：

将第一识别结果和第二识别结果相加，通过softmax cross entropy loss函数对相加结果进行处理得到所述待识别人脸表情图像的最终识别结果。

5.如权利要求1-4之一所述的一种基于等分特征图的表情识别方法，其特征在于，表情分类模型的卷积神经网络结构包括依次连接的第一网络结构、第二网络结构和第三网络结构；所述第一网络结构包括依次连接的1个卷积层和1个最大池化层；所述第二网络结构包括四层残差块；所述第三网络结构包括全局池化层。

6.如权利要求5所述的一种基于等分特征图的表情识别方法，其特征在于，选择第三个残差块输出的特征图作为中间层特征图。

7.如权利要求6所述的一种基于等分特征图的表情识别方法，其特征在于，在第一网络结构中，所述卷积层包含64个7*7大小的卷积核组成，卷积层的步长为2；最大池化层的输入大小为64*112*112，输出大小为64*56*56，最大池化层的步长为2；

第三个残差块输出的特征图的大小为256*14*14，将第三个残差块输出的特征图四等分为4个大小为256*7*7的局部特征图；

在局部分类处理过程中：每个局部特征图通过一个3*3的卷积核提取所述局部特征图的高层特征信息，对高层特征信息进行全局平均池化处理和reshape处理得到1*256的第一特征图，将所述第一特征图输入256*7的第一局部全连接层，对所述第一局部全连接层输出的结果进行sofmax函数处理得到局部分类结果，将第一特征图输入256*1的第二局部全连接层获得局部权值。