[发明专利]基于空间关联的多标签图像识别方法

说明书

本发明公开了一种基于空间关联的多标签图像识别方法，用于同时识别图像中的多个类别标签。具体内容包括：给定自然图像，输入到卷积神经网络编码器，得到图像的第一特征图。将第一特征图经过跨尺度特征增强进一步增强空间信息，再输入空间关联模块，生成表示空间关联的第二特征图。将第一特征图经过降维得到维度为类别数量的热度图，对热度图通过全局池化与损失函数进行约束以保证热度图与每个类别的响应。将热度图转置后与第一特征图点乘后得到图神经网络的节点，再通过邻接矩阵构造模块得到邻接矩阵。将节点与邻接矩阵输入标签关联模块，生成表示标签关联的第三特征图。

技术领域

本发明涉及计算机视觉与多媒体分析领域，具体地说是一种基于空间关联的多标签图像识别方法。

背景技术

对于输入的自然图像，多标签图像识别是同时获取图像中的多个物体的类别信息。因为图像中存在多个物体，而且物体与物体之间不可避免的存在特定关联，因此多标签图像识别难度更高。针对自然场景下的多标签图像识别，北京交通大学的Wei等人提出先提取图像中的不同物体粗略位置，分别预测类别后再聚合到一起。中国科学技术大学的Zhu等人提出基于空间正则的方法来增强不同物体在空间上的响应。百度的Wang等人通过联合卷积神经网络和循环神经网络来建模标签语义之间的共现关联，并以标签重要性作为顺序依次预测。旷视研究院的Chen等人提出通过图神经网络来建模标签之间的语义相关性，再对分类网络的特征进行加权，进而让相关性高的类别之间响应有相互促进的作用，让相关性低的类别之间响应有相互抑制的作用。

发明内容

提出一种基于空间关联的多标签图像识别方法，给定输入自然图像，能够同时识别出图像中包含的多个物体的类别。

本发明包含如下5个步骤：

步骤S100，给定自然图像，输入到卷积神经网络编码器，得到图像包含不同尺度信息的第一特征图。

步骤S200，将第一特征图经过跨尺度特征增强进一步增强空间信息，再输入空间关联模块，生成表征空间关联的第二特征图。

步骤S300，将第一特征图经过降维得到维度为类别数量的热度图，对热度图通过全局空间池化与损失函数进行约束以保证热度图与每个类别的响应。将热度图转置后与第一特征图点乘后得到图神经网络的节点，再通过邻接矩阵构造模块得到邻接矩阵。

步骤S400，将构造好的图神经网络的节点与邻接矩阵输入标签关联模块，生成表征标签关联的第三特征图。

步骤S500，将第二特征图与第三特征图通过置信度加权模块得到最终的图像表征和分类结果。

本发明公开了一种基于空间关联的多标签图像识别方法，相比于上述方法，具有三个有益的特点：1)通过引入跨尺度增强和自注意力机制建模长距离的空间上下文关联。2)通过类别约束和空间关联联合构建图神经网络的结点以及邻接矩阵，明确结点的语义表征，建模动态的标签关联。3)通过置信度加权对空间关联特征和标签关联特征进行融合，减少单一特征表达的不稳定性。

附图说明

图1是本发明一种基于空间关联的多标签图像识别方法的总框架图；

图2是本发明一种基于空间关联的多标签图像识别方法实施S200的跨尺度特征增强模块结构图；

图3是本发明一种基于空间关联的多标签图像识别方法实施S200的空间关联模块结构图；

图4是本发明一种基于空间关联的多标签识别方法实施的算法流程图。

具体实施方式

下面将参考附图并结合实施例来详细说明本公开。

图1是本发明一种基于空间关联的多标签图像识别方法的总框架图。包括以下步骤：