[发明专利]基于空间关联的多标签图像识别方法

权利要求书

1.一种基于空间关联的多标签图像识别方法，包括：

步骤S100，给定自然图像，输入到卷积神经网络编码器，得到图像包含不同尺度信息的第一特征图；

步骤S200，将第一特征图经过跨尺度特征增强模块进一步增强空间信息，再输入空间关联模块，生成表示空间关联的第二特征图；

步骤S300，将第一特征图经过降维得到维度为类别数量的热度图，对热度图通过全局池化与损失函数进行约束以保证热度图与每个类别的响应；将热度图转置后与第一特征图点乘后得到图神经网络的节点，再通过邻接矩阵构造模块得到邻接矩阵；

步骤S400，将节点与邻接矩阵输入标签关联模块，生成表示标签关联的第三特征图；

步骤S500，将第二特征图与第三特征图的分类结果通过置信度加权模块得到最终的图像表征和分类结果。

2.根据权利要求1所述的空间关联的多标签图像识别方法，其特征在于：在步骤S200中，跨尺度特征增强模块具有以下特征：

输入第一特征图中的三十二倍下采样特征F₃₂(C×H₃₂×W₃₂)，通过1×1卷积进行维度压缩，得到F_T32(C_T×H₃₂×W₃₂)；输入第一特征图中的三十二倍下采样特征F₃₂(C×H₃₂×W₃₂)，通过3×3卷积同时进行维度压缩与分辨率压缩，得到六十四倍下采样特征F_T64(C_T×H₆₄×W₆₄)；输入第一特征图中的十六倍下采样特征F₁₆(C×H₁₆×W₁₆)，通过1×1卷积进行维度压缩，得到F_T16(C_T×H₁₆×W₁₆)；

将这三种不同尺度的特征输入到跨尺度特征增强模块中，通过上采样将不同尺度的特征尺度采样到相同尺度，再对不同特征进行相乘，抽取出不同特征之间相似的空间信息，再分别下采样到不同尺度与原来的特征通过相加进行增强，最后输出增强空间信息后的不同尺度特征；跨尺度特征增强模块可以用以下公式来表示：

F_com＝F_T16×U(F_T32)×U(F_T64)

F_T16＝F_com+F_T16

F_T32＝D(F_com)+F_T32

F_T64＝D(F_com)+F_T64，

其中，F_com是跨尺度特征中提取的相似特征，F_T16是十六倍下采样的特征图，F_T32是三十二倍下采样的特征图，F_T64是六十四倍下采样的特征图是对卷积神经网络编码器ResNet的默认输出特征图进行3×3卷积得到的，U是上采样函数，将所有特征上采样到相同尺度，D是下采样函数，将所有特征下采样到各自尺度。