[发明专利]图像处理方法、装置、存储介质及电子设备

说明书

本公开涉及一种图像处理方法、装置、存储介质及电子设备，属于图像处理领域，所述方法包括：获取包括面部信息的目标图像；将所述目标图像输入预先训练完成的情绪分类网络，得到所述目标图像中面部信息表征的情绪信息；其中，所述情绪分类网络包括由内卷算子构成的RedNet特征提取器，所述RedNet特征提取器用于根据所述目标图像得到特征图像，以基于所述特征图像得到所述情绪信息。通过使用内卷算子组成的RedNet结构作为特征提取器，对输入该情绪分类网络的图像进行初步处理，提取图片的局部细节并将得到的特征图像输入该情绪分类网络的下游模块，有效地提高了情绪分类网络输出的情绪信息的最终准确率。

技术领域

本公开涉及图像处理领域，具体地，涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

情感识别是任何人际沟通中不可避免的一部分，人们通过观察他人的情感变化来确认自己的行为是否合理有效。随着科技不断进步，情感识别可以使用不同的特征来检测识别，例如人脸、语音、脑电图，甚至言语内容，在这些特征中，通常面部表情是更容易被观测到的。

在相关技术中，近年来，随着深度学习的运用，尤其是ViT(Vision Transformer)模型的出现，也成功打破了基于卷积和池化主导的网络在分类任务上面的垄断，然而，ViT模型的底层卷积部分过于简洁，网络底层对于更细节的图像信息利用的非常不到位，而中间处理阶段也没有特征图尺寸递减的变换。

发明内容

为了解决相关技术中存在的问题，本公开提供一种图像处理方法、装置、存储介质及电子设备。

为了实现上述目的，本公开第一方面提供一种图像处理方法，所述方法包括：

获取包括面部信息的目标图像；

将所述目标图像输入预先训练完成的情绪分类网络，得到所述目标图像中面部信息表征的情绪信息；

其中，所述情绪分类网络包括由内卷算子构成的RedNet特征提取器，所述RedNet特征提取器用于根据所述目标图像得到特征图像，以基于所述特征图像得到所述情绪信息。

可选地，所述基于所述特征图像得到所述情绪信息包括：

将所述特征图像输入Transformer编码器，得到所述目标图像对应的特征向量，所述Transformer编码器包括多头自注意模块、多层感知器以及层归一化模块；

将所述特征向量输入全连接层，得到所述目标图像中面部信息表征的情绪信息。

可选地，所述情绪分类网络的训练包括：

获取训练集，所述训练集包括多个训练图像，所述多个训练图像中的每一个训练图像包括面部信息以及对应该面部信息预先标注的情绪标签；

针对所述训练集中的任意目标训练图像，将所述目标训练图像输入初始情绪分类网络中的RedNet特征提取器，得到所述目标训练图像的特征图像；

将所述目标训练图像的特征图像输入所述Transformer编码器，得到所述目标训练图像对应的特征向量；

将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签；

根据所述预测标签与所述目标训练图像预先标注的情绪标签，对所述情绪分类网络中的参数进行调整，以得到训练后的情绪分类网络。

可选地，所述全连接层包括注意力因子，所述将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签包括：

将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签，以及所述目标训练图像的权重信息；