[发明专利]基于轻量流式网络和注意力机制的表情识别方法

权利要求书

1.一种基于轻量流式网络和注意力机制的表情识别方法，其特征在于，包括以下步骤：

步骤S1：获取表情图像数据集，并预处理；

步骤S2：构建包含注意力机制的轻量流式网络，根据预处理后的表情图像数据集训练包含注意力机制的轻量流式网络；

步骤S3：在网络的最后，通过交叉熵损失函数进行分类；

步骤S4：将待测图像数据输入训练后的包含注意力机制的轻量流式网络，得到识别结果；

所述轻量流式网络构建，具体为：基于MobileNetV2基本块和shuffleNet基本块构建轻量流式网络中的基本构建块，基本构建块堆叠构成轻量流式网络的主体；在轻量流式网络中加入注意力机制模块；并引入一个流式模块来替代全局平均池化的操作；

所述基于MobileNetV2基本块和shuffleNet基本块构建轻量流式网络中的基本构建块，具体为：

所述MobileNetV2基本块Inverted Residual Block先使用一个1×1的卷积进行维度的扩张，再使用深度可分离卷积进行特征的提取，最后再使用一个1×1的卷积进行降维；

所述shuffleNet的构建形式为一个步长为2的基本单元，该基本单元在左侧增加了一个平均池化的操作，平均池化的操作能够嵌入多尺度的信息并且聚合不同感受野的特征，通过3×3的卷积使得左右两个分支的输出形状相同；

所述轻量流式网络的基本单元，借鉴上述MobileNetV2基本块和shuffleNet的基本单元，在shortcut部分增加3×3的平均池化操作和1×1的卷积操作。

2.根据权利要求1所述的基于轻量流式网络和注意力机制的表情识别方法，其特征在于，所述步骤S1具体为：

步骤S11：获取表情图像数据集，并使用级联卷积神经网络进行人脸对齐；

步骤S12：根据步骤S11处理后得到人脸对齐之后的图像，然后图像进行灰度归一化；

步骤S13：采用增强操作，对归一化后的图像数据进行数据增强，得到预处理后的表情图像数据集。

3.根据权利要求2所述的基于轻量流式网络和注意力机制的表情识别方法，其特征在于，所述级联卷积神经网络包含若干阶段，每个阶段都包含前一阶段的输出作为输入，输出偏置，加上偏置并摆正人脸关键点和输入图，用输出的点生成热力图、最后一层卷积输出的特征图以及摆正后的原图作为下一个阶段的输入，具体的：

第一级的输入是一张人脸的原始图像I，将面部关键点初始化为S⁰，S⁰由所有关键点取平均得到，经过卷积神经网络后加上平均形状S⁰，得到该级的形状估计S¹；

在第二级中，首先利用S⁰对人脸原始图像I和S¹进行矫正变化，即计算S¹相对于S⁰的仿射矩阵并作用于二者之上，得到矫正后的人脸图像I'和形状S¹'，并根据S¹'生成关键点热力图M'；

之后的级联都是第二级模块的堆叠，即将上一级的全连接层，输出的关键点人力图和校正后的人脸图像作为输入，输出该级的估计。

4.根据权利要求2所述的基于轻量流式网络和注意力机制的表情识别方法，其特征在于，图像归一化具体为：

其中V_before表示转换前的值，V_after表示转换后的值，MinValue表示样本的最小值，MaxValue表示样本的最大值。

5.根据权利要求2所述的基于轻量流式网络和注意力机制的表情识别方法，其特征在于，所述增强操作具体为：

将图像的随机区域进行剪裁，然后将剪裁出的部分调整为灰度归一化后的大小；

以预设概率对灰度归一化后的图像进行水平翻转；

对灰度归一化后图像进行顺时针或者逆时针的旋转；

在图像中随机加入预设的噪声。