[发明专利]图像分类的方法、装置及系统

说明书

本申请公开了图像分类的方法、装置及系统，图像分类方法包括：提取图像的特征图；从特征图生成图像的分别用于多个标签的多个基本置信度得分；根据各标签的空间位置之间的关系调节基本置信度得分，其中，标签的空间位置为标签对应的对象在图像中的位置；以及根据经过调节的基本置信度得分确定与图像对应的描述信息。本申请实施例提供的图像分类的技术方案，考虑了标签之间的空间位置关系，更为充分的利用了图像中所包含的信息，并可以得到更加准确分类结果。

技术领域

本申请涉及计算机视觉和图像分类领域，具体涉及图像分类的方法、装置及系统。

背景技术

随着计算机视觉技术的发展，图像分类已经得到了广泛应用。多标签图像分类是非常常见的一种视觉计算问题，其用于对单张图片自动生成包含多种标签的描述，例如，在一张包含复杂场景的图像中自动识别出其中的多种物体(例如，行人、动物、树木等)以及场景相关的描述(例如，蓝天、白云、日出等)。

目前用于多标签图像分类的方法主要分为两类，第一类方法将多标签图像分类问题分解为多个相互独立的单标签分类问题，并利用已有的单标签分类方法来实现图像分类；第二类方法考虑了类别标签之间的语义相关性，在预测多标签中的一个标签时，该类方法考虑了该标签与已经预测出的标签之间的相关性。

发明内容

本申请实施例提供了一种图像分类的技术方案。

本申请实施例的一方面公开了一种图像分类方法，包括：提取图像的特征图；从特征图生成图像的分别用于多个标签的多个基本置信度得分；根据各标签的空间位置之间的关系调节基本置信度得分，其中，标签的空间位置为标签对应的对象在图像中的位置；以及根据经过调节的基本置信度得分确定与图像对应的描述信息，其中，根据各标签的空间位置之间的关系调节基本置信度得分包括：基于特征图确定与每个标签的空间位置对应的注意力图，其中，注意力图表示与注意力图对应的标签和特征图中特征的相关程度的空间分布；根据各标签的注意力图之间的关系确定与多个标签中的每个标签分别对应的约束置信度得分；以及利用约束置信度得分调节基本置信度得分。

根据本申请一个实施方式，根据各标签的空间位置之间的关系调节基本置信度得分包括：基于特征图确定与每个标签的空间位置对应的注意力图，其中，注意力图表示与注意力图对应的标签和特征图中特征的相关程度的空间分布；根据各标签的注意力图之间的关系确定与多个标签中的每个标签分别对应的约束置信度得分；以及利用约束置信度得分调节基本置信度得分。

根据本申请一个实施方式，在根据各标签的注意力图之间的关系确定与多个标签中的每个标签分别对应的约束置信度得分之前，还包括：对特征图中的每个像素位置生成与各标签中的每个标签对应的空间置信度得分，空间置信度得分包含与标签中的每个标签在像素位置出现的可能性有关的信息；以及利用空间置信度得分修正标签的注意力图。

根据本申请一个实施方式，基于特征图确定与每个标签的空间位置对应的注意力图包括：将特征图输入至深度神经网络中的第一卷积层，并利用第一卷积层对特征图进行卷积操作以及对卷积操作结果进行用于模拟人的注意力特性的归一化操作，获得与各标签中的每个标签对应的注意力图。

根据本申请一个实施方式，对特征图中的每个像素位置生成与各标签中的每个标签对应的空间置信度得分包括：将特征图输入至深度神经网络中的第二卷积层，并利用第二卷积层对特征图中的每个像素位置生成与标签中的每个标签对应的空间置信度得分。

根据本申请一个实施方式，根据各标签的注意力图之间的关系确定与多个标签中的每个标签分别对应的约束置信度得分包括：通过利用深度神经网络中的第三卷积层对通过第一卷积层获得的注意力图进行卷积操作，获得与多个标签中的每个标签对应的约束置信度得分。