[发明专利]基于视觉基元挖掘的小样本图像分类方法

说明书

本发明公开了一种基于视觉基元挖掘的小样本图像分类方法，主要解决现有小样本分类方法图像分类精度低，不具有很好的泛化性和对细粒度图像分类不具有适应性的问题。其实现方案是：添加自监督的拼图任务作为特征提取器的正则项；利用特征提取器生成物体部分和结构信息相对应的视觉模式；通过自适应通道分组算法将各组视觉模式进行聚合生成初始的视觉基元；构建基元关系图并进行图卷积推理，获取基元间的相关性，同时为每个视觉基元设置特定任务的权重；对基元级度量进行加权计算得到图像相似度实现图像分类。本发明具有对小样本图像分类精度更高，泛化性和适应性更好的优点，可用于图像处理。

技术领域

本发明属于计算机视觉技术领域，主要涉及一种小样本图像分类方法，可用于图像处理。

背景技术

近年来，深度学习技术在各种具有丰富标记数据的图像识别和分类任务中取得巨大的成功。但是相较于传统算法，深度学习模型的训练过程需要大量标记数据，特别是在需要识别大量新类别的情况下，将导致其在应用时需要耗费巨大的时间和成本去获取数据。小样本学习技术借助度量学习、元学习等方法可以有效地降低深度学习模型对大量数据的依赖性，通过少量的数据样本就可以实现相关任务应用和部署，并且可以实现较高的精度。

目前，小样本学习方法主要有基于度量的方法和基于元学习的方法两大类。

所述基于度量的方法，是在某个嵌入空间中学习输入样本的特征表示，通过度量样本之间的相似性来对样本进行分类，进而实现小样本学习。

Oriol Vinyals等人发表在Advances in Neural Information ProcessingSystems期刊上的匹配网络方法和Jake Snell等人发表在Advances in NeuralInformation Processing Systems期刊上的原型网络方法，其主要思想都是在一个适当的特征空间中学习一个全局的图像级别的特征表示，并且直接计算查询图像和支持图像之间的距离来进行图像分类。然而，这些工作大多是在图像层面上测量图像间的相似度。测量时图像的特征图被划分为一组局部特征图像块，图像间的相似度度量是在这些局部特征图像块上进行的，或者是在经过池化操作后的特征图上进行图像间相似度度量，这些操作可能会破坏图像中物体的结构信息，忽略局部线索，而且从特征图中划分出的局部特征图像块没有任何可解释性。

为了改进以上缺陷，Yann Lifchitz等人在the IEEE Conference on ComputerVision and Pattern Recognition会议上发表了“基于局部特征的稠密图像分类方法”其采用低层次信息来衡量查询图像和支持图像之间的距离。该方法虽说可以达到相对较好的分类效果，但由于引入了大量的计算和冗余的背景噪声，且距离度量方法不合理、参数设置不当这些原因都可能导致分类性能下降，面对样本间噪声较大和类别内部差异性较大的情况时图像分类表现不佳。同时由于该方法需要大量额外的数据构建度量模型，限制了在真实场景下的应用。

所述基于元学习的方法，是通过学习一组元任务，训练一个可以快速学习不同新任务的神经网络，且在训练基础模型时引入情景训练机制来重复模拟小样本图像分类任务场景。

Zou Y等人在The 28th ACM International Conference on Multimedia会议上发表了“一种具有基元挖掘和增强功能的小样本识别算法”，该算法设计了一种软构成网络机制，将特征图中的每个通道视为一个基元，在训练过程中通过扩大重要基元的激活度，减小其他无用基元的激活度来选择重要基元。然而，这种方法由于只选择前k个通道，因而不能自适应地充分利用所有通道的信息线索。