[发明专利]图像处理方法、装置及电子设备

说明书

本申请公开了图像处理方法和装置。上述方法的一具体实施方式包括：提取待处理的图像的特征，获得上述图像的第一特征图；基于上述第一特征图，生成上述图像的注意力图；融合上述注意力图和上述第一特征图，获得融合图；基于上述融合图，再次提取上述图像的特征。该实施方式实现了将注意力机制引入到图像处理中，有效地提高了从图像中获取信息的效率。

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置及电子设备。

背景技术

计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，在此领域，视觉注意力机制一直为人们所关注。人类可以通过视觉注意力机制快速扫描视野范围内的整体区域，并将与目标物体无关的区域滤除，而仅仅关注目标物体所在的区域。因此，注意力机制极大的提高了人类对于目标物体的信息获取效率。

发明内容

本申请提出了一种图像处理的技术方案。

第一方面，本申请提供了一种图像处理方法，包括：提取待处理的图像的特征，获得上述图像的第一特征图；基于上述第一特征图，生成上述图像的注意力图；融合上述注意力图和上述第一特征图，获得融合图；基于上述融合图，再次提取上述图像的特征。

在一些实施例中，上述基于上述第一特征图，生成上述图像的注意力图，包括：对上述第一特征图依次进行N次下采样处理，其中，N为大于或等于1的整数；对第N次下采样处理后的特征图依次进行N次上采样处理，获得上述图像的注意力图，其中，上述注意力图的分辨率与上述第一特征图相同。

在一些实施例中，上述对第N次下采样处理后的特征图依次进行N次上采样处理，包括：对第N-n次下采样处理后的特征图和第n次上采样处理后的特征图进行卷积操作；对卷积操作后的特征图进行第n+1次上采样处理，n为大于1且小于N的整数。

在一些实施例中，上述对第N-n次下采样处理后的特征图和第n次上采样处理后的特征图进行卷积操作，包括：对上述第N-n次下采样处理后的特征图进行卷积处理，得到卷积图；将上述卷积图中各像素的特征值与第n次上采样处理后的特征图中相应像素的特征值相加；对相加后的特征图进行卷积操作。

在一些实施例中，上述对第N次下采样处理后的特征图依次进行N次上采样处理，还包括：对第N次下采样处理后的特征图进行至少一次卷积操作；对最后一次卷积操作后的特征图进行第1次上采样处理。

在一些实施例中，上述融合上述注意力图和上述第一特征图，获得融合图，包括：对上述第一特征图进行至少一次卷积操作；融合上述注意力图和最后一次卷积操作后的第一特征图，获得上述融合图。

在一些实施例中，上述融合上述注意力图和上述第一特征图，获得融合图，包括：至少对上述注意力图进行归一化处理；融合归一化处理后的注意力图和上述第一特征图，获得上述融合图。

在一些实施例中，上述至少对上述注意力图进行归一化处理，包括：对上述注意力图依次进行至少一次卷积处理；对最后一次卷积处理后的注意力图进行归一化处理。

在一些实施例中，上述融合上述注意力图和上述第一特征图，获得融合图，包括：将归一化处理后的注意力图中各像素的权重值与上述第一特征图中相应像素的特征值相乘，获得上述融合图。

在一些实施例中，上述融合上述注意力图和上述第一特征图，获得融合图，包括：将归一化处理后的注意力图中各像素的权重值与上述第一特征图中相应像素的特征值相乘，获得相乘图；将上述相乘图中各像素的特征值与上述第一特征图中相应像素的特征值相加，获得上述融合图。

在一些实施例中，在上述基于上述融合图，再次提取上述图像的特征之后，上述方法还包括以下至少之一：根据再次提取的上述图像的特征，检测或识别上述图像中包括的物体；根据再次提取的上述图像的特征，确定上述图像中包括的物体的类别；根据再次提取的上述图像的特征，对上述图像进行分割。