[发明专利]一种基于相似度特征融合的小样本图像分类方法

说明书

本发明公开了一种基于相似度特征融合的小样本图像分类方法，包括如下步骤：步骤一：对输入图像进行特征提取；步骤二：文本端相似度关系抽取；步骤三：样本间相似度关系抽取；步骤四：基于文本相似度的特征融合；步骤五：基于样本相似度的特征融合；步骤六：多阶段特征融合；步骤七：模型训练与测试。本发明基于样本与类别之间的相似性，通过对输入小样本图像特征与基础类别的自然图像特征进行特征融合，能够提升小样本图像特征的多样性，并完善小样本图像的类别表述，从而帮助分类器提升对小样本图像的响应能力，提升小样本图像分类的准确度。

技术领域

本发明属于图像分类领域，具体的说是一种基于相似度特征融合的小样本图像分类方法。

背景技术

近年来，卷积神经网络(CNN)已在包括图像分类、分割等大量视觉任务上展现出强大的性能，但是其依赖于大规模标注数据进行训练，而大规模数据的标注需要耗费大量的人力物力成本，这限制了其应用场景。为了解决这一问题，人们提出了小样本学习(FSL)这一任务。其旨在通过有限的训练样本完成对测试样本的分类。

目前，在小样本学习(FSL)任务中往往采用预训练的方式。其使用在基础类别上预训练的特征提取器(Backbone)直接提取支持类别的样本特征，并使用支持样本的特征训练分类器。训练稳健的特征提取器(Backbone)可以有效提升小样本学习(FSL)模型的性能，然而，从零设计、训练并验证一个特征提取器耗时且昂贵。而且由于基础类别与支持类别不相交，在基础类别上预训练的特征提取器(Backbone)更倾向于关注它所学习的基础类别样本的纹理和结构信息，导致其忽略了支持样本的细节，其存在着分类性能较弱的问题。

为解决上述在少量支持样本上分类性能不足的问题，基于数据生成的方式基于当前的支持样本生成更多的新样本以辅助分类器的优化过程，但是其忽视了基础类别与支持类别间的差异，并且在数据生成过程中引入了额外噪声，反而会对分类器产生误导。

基于上述分析，目前如何减少由于基础类别与支持类别、基础样本与支持样本间差异引入的特征表示间的偏差，从而提升分类器对支持类别的响应能力，是小样本学习急需解决的问题。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出了一种基于相似性特征融合的小样本图像分类方法，通过直接建模支持样本与基础样本、支持类别与基础类别间的相似性，从而能提升小样本图像分类的准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于相似度特征融合的小样本图像分类方法的特点是按以下步骤进行：

步骤1、输入图像的特征提取：

步骤1.1、获取自然图像集合并输入预训练的CNN模型中进行特征提取，得到自然图像的特征表示及其基础类别集合，记为其中，表示第i个自然图像的特征表示，且d表示特征表示的维度，表示第i个自然图像所属的基础类别，且C_base表示自然图像集合的基础类别集合，|C_base|表示自然图像集合的基础类别数量，N_base表示每个基础类别中的自然图像数量；

步骤1.2、获取另一图像样本集合并输入所述预训练的CNN模型中进行特征提取，得到图像样本的特征表示及其支持类别集合，记为其中，表示第j个图像样本的特征表示，且表示第j个图像样本所属的支持类别，且C_novel表示图像样本的支持类别集合，且满足C_novel∩C_base＝φ，|C_novel|表示图像样本的支持类别数量，N_novel表示每个支持类别中的图像样本数量；

步骤2：文本端相似度关系抽取：