[发明专利]基于扰动一致性自集成的半监督图像检索方法及装置

说明书

本发明公开了一种基于扰动一致性自集成的半监督图像检索方法及装置，包括将图像输入训练后的半监督图像特征提取模型，得到该图像的特征，其中所述半监督图像特征提取模型包括：一卷积神经网络、一哈希层和一扰动一致性自集成模块；将图像的特征转换为图像离散的二值哈希码；依据二值哈希码进行检索，得到图像检索结果。本发明通过集成同一个样本在不同数据增强条件下的特征，能够发现每个类别的判别特征；通过设计的扰动一致性损失函数最大化无标记数据的哈希层输出与对应的集成特征的相似性，充分的利用了无标记数据提升网络的泛化能力；能够取得更好的检索效果。

技术领域

本发明属于软件技术领域，尤其涉及一种基于扰动一致性自集成的半监督图像检索方法及装置。

背景技术

随着互联网上图像数据的爆炸式增长，海量的图像数据和高维的图像特征使得图像检索面临巨大挑战。深度哈希方法由于存储成本低和检索速度快的特点，成为近年来的研究热点。

一般地，深度哈希方法通过把高维实值图像特征映射成紧凑的二值哈希码来实现快速检索，并在映射过程中利用图像的语义相似关系对哈希码进行约束保证检索精度。在大数据环境下，有监督的哈希方法往往依赖大量的标注图像数据获得较高的检索准确率，而只有少量的标注数据时，有监督的哈希方法性能会大幅度降低。中国专利申请CN109800314A公开了一种利用深度卷积网络生成用于图像检索的哈希码的方法，其在分类层前添加一个哈希层，哈希层的输出经过二值化后获得图像的哈希码，但该申请是使用大量的标记数据训练哈希模型来获得较好的检索性能，但是在实际场景中，标记大量的数据需要耗费巨大的人力、物力资源。因此，深度半监督哈希方法被提出，该方法利用少量的标记数据和大量的无标记数据来学习更好的哈希函数。

已有的半监督哈希方法主要利用无标记数据和标记数据的视觉相似性来指导无标记数据哈希码的学习，通过在哈希空间中保持无标记样本与标记样本之间在视觉上近邻关系实现哈希函数学习。因此，很多研究人员都在努力尝试构建可靠的样本近邻关系。这些研究工作大致可以分为基于图的方法和基于关系一致性的方法。基于图的方法利用样本间的视觉相似性构造一个近似图，其中图上的节点表示标记数据和无标记数据，图上的边反映样本间的视觉相似度。基于关系一致性的方法采用自集成模型生成每一个样本的集成特征，并利用成对样本间的集成特征的视觉相似性表示样本间的语义相似关系。

目前上述半监督哈希方法使用样本间的视觉相似性表示样本间的语义相似关系，但是视觉相似性并不能反映样本间真实的语义相似关系，具有相似的视觉信息的两个样本可能来自两个不同的类别。因此，使用错误的视觉相似性指导哈希码的学习，会导致两个样本学习到的哈希码的相似性与真实的语义相似关系不一致。

发明内容

针对现有方法存在的问题，本发明的目的在于设计一种基于扰动一致性自集成的半监督图像检索方法及装置，通过集成一个无标记样本在不同数据增强条件下的网络输出获得一个具有判别性的全局特征，然后通过约束无标记样本的网络输出与其全局特征保持一致，提高网络的泛化能力。

本发明的技术内容包括：

一种基于扰动一致性自集成的半监督图像检索方法，其步骤包括：

1)将图像输入训练后的半监督图像特征提取模型，得到该图像的特征，其中所述半监督图像特征提取模型包括：一卷积神经网络、一哈希层和一扰动一致性自集成模块，使用少量有标记数据与大量无标记数据对所述半监督图像特征提取模型进行如下训练：

1.1)利用少量有标记数据对预训练卷积神经网络及哈希层进行训练，得到初步训练的卷积神经网络及哈希层；

1.2)通过扰动一致性自集成模块，最大化无标记数据x_k的哈希层输出h_k与集成特征的相似性，训练初步训练的卷积神经网络及哈希层，得到训练后的卷积神经网络及哈希层，并生成集成特征其中t为迭代次数，k为无标记数据的编号，集成特征通过h_k和加权求和得到；