[发明专利]一种基于特征金字塔的人脸表情识别方法及装置

权利要求书

1.一种基于特征金字塔的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1：构建卷积注意力模块cbam，从通道和空间的维度对特征图进行注意力机制，得到注意力特征图；

步骤2：构建一个金字塔网络与卷积注意力模块cbam融合，使得特征金字塔网络关注到对表情识别有用的地方，用于过滤输入图片无用的背景信息,得到尺度注意力特征图；

步骤3：通过上采样或下采样的方式缩放所有步骤2中得到的尺度注意力特征图，使其分辨率一致，便于特征加权融合；

步骤4：将步骤3得到的缩放特征图进行特征加权融合，得到融合特征图序列；

步骤5：将步骤4得到的融合特征图送入全连接网络，得到多个预测结果，最后经过投票，得到最后的预测结果；

步骤1包括以下步骤：

步骤1.1：将输入的特征图分别经过最大池化和平均池化，得到两个特征图，两个特征图分别为最大池化特征图和平均池化特征图；

步骤1.2：将步骤1.1得到的两个特征图通过一个共享权值的多层感知机进行维度压缩后相加；

步骤1.3：经过一个sigmoid函数，得到通道注意力特征图；

步骤1.4：将步骤1.3得到的通道注意力特征图分别进行基于通道的最大池化和平均池化；

步骤1.5：将步骤1.4得到的两个特征图连接后经过一个卷积操作；

步骤1.6：经过一个sigmoid函数得到空间注意力特征图；

通道注意力可以表示为：

其中，F表示输入特征图，AvgPool()和MaxPool()表示平均池化和最大池化，MLP()表示多层感知机，表示sigmoid激活函数：

空间注意力可以表示为

其中，F表示输入特征图，AvgPool()和MaxPool()表示平均池化和最大池化，f^7×7表示7×7的卷积，表示sigmoid激活函数;

步骤4包括以下步骤：

将步骤3得到的缩放特征图进行特征加权融合，得到特征融合图序列[]，其中金字塔网络的l层对应的融合特征图：

+

中的x的上标大于l，则采用下采样对应的缩放特征图，x上标比l小，则采用上采样对应的缩放特征图，如x上标等于l则采用原有的尺度注意力特征图；

得到，其中、是由1×1的卷积层与对应的注意力特征图卷积得到。

2.根据权利要求1所述的一种基于特征金字塔的人脸表情识别方法，其特征在于，步骤2包括以下步骤：

步骤2.1：构建一个金字塔网络；

步骤2.2：根据网络结构，将金字塔网络每个块后面添加一个步骤1的卷积注意力模块cbam；

步骤2.3：金字塔网络得到尺度注意力特征图。

3.根据权利要求1所述的一种基于特征金字塔的人脸表情识别方法，其特征在于，步骤3包括以下步骤：

步骤3.1：对于上采样，先通过一个1×1的卷积，使得尺度注意力特征图的通道数与金字塔网络第层尺度注意力特征图的通道数一致；

步骤3.2：通过最近邻插值、双线性插值或者是双三次插值的方法进行上采样，得到缩放特征图；

步骤3.3：对于下采样，使用步长为2的卷积，使得尺度注意力特征图的通道数与第层尺度注意力特征图的通道数一致；

步骤3.4：使用池化的操作降低分辨率，得到缩放特征图，其中l是指金字塔网络的层数序号。