[发明专利]一种基于多维关系对齐的无监督视觉表征学习的图像分类方法

说明书

本发明提供一种基于多维关系对齐的无监督视觉表征学习的图像分类方法，包括：步骤1，获取预训练图像数据以及增广视图；步骤2，构建包括在线编码器和离线编码器的双分支网络，将增广视图分别输入在线编码器和离线编码器得到特征以及负样本；步骤3，定义增广视图的特征与负样本的关系矩阵，并采用交叉对齐策略构建关系对齐损失；步骤4，设计多维关系对齐损失并进行无监督预训练；步骤5，通过添加分类器构成图像分类网络；步骤6，微调图像分类网络；步骤7，利用微调后的图像分类网络执行图像分类任务。本发明将关系对齐作为无监督视觉表征学习的核心，其在不引入任何不可靠约束的情况下，深入探索了样本之间的相似度关系。

技术领域

本发明涉及图像分类技术领域，具体而言，涉及一种基于多维关系对齐的无监督视觉表征学习的图像分类方法。

背景技术

随着深度学习在计算机视觉的普及，基于卷积神经网络的图像分类方法基本达到了人类水平的表现，但是训练神经网络需要庞大的数据，获取数据的标记是耗时耗力的。无监督视觉表征学习是目前计算机视觉领域最具挑战性的课题之一，其主要任务是根据给定的无人工标注的图片，从数据本身学习，以获得对下游任务有益的特征表示。在图像分类任务中，最近无监督视觉表征学习展现出了惊人的应用前景，由于其不依赖人工标注，因此可以收集数量巨大的数据供其预训练，来获得具有语义信息的通用性特征，然后迁移到目标数据集以获得更好的分类性能，这对于图像分类的发展有非常重要的意义。

早期的无监督视觉表征学习方法通常会基于数据自身设计启发式的辅助任务，然后借由解决辅助任务学习的过程学习通用的视觉特征表示。相对位置判别(RelativePosition)辅助任务，它首先从输入图像中提取几个图像补丁，然后训练卷积神经网络来预测任意两个补丁之间的空间位置关系。旋转预测(RotNet)辅助任务，它首先将输入图像旋转0°、90°、180°、270°中的任意一个角度，然后训练卷积神经网络来预测图像的旋转角度。图像着色(Colorization)辅助任务，它首先将原始图像灰度化，然后训练卷积神经网络来对灰度图像着色，将高级语义信息编码到嵌入信息中。图像修补(Inpainting)辅助任务，它首先将抹去输入图像的一个局部区域，然后利用一种上下文编码器，根据像素之间的相关性来生成原始图像的缺失内容。然而，这些手工设计的辅助任务通常只能捕捉图像的底层特征，不能关注到图像的语义信息上。除此之外，它们也很容易被一些无关特征所干扰，例如水印对于旋转预测辅助任务，仅关注水印的位置就可以判断图像旋转地角度。在可解释性方面，它们也存在很大地问题。与这些基于启发式辅助任务的方法相比，当下的对比学习体现出巨大的优势和广阔的前景。