[发明专利]一种基于局部特征关系探究的小样本图像分类方法

说明书

本发明提供一种基于局部特征关系探究的小样本图像分类方法，该方法采用了多层次的图神经网络，首先通过局部级图神经网络挖掘每个图像中局部特征之间的关系，提取出图像的更具代表性的局部语义特征；然后通过任务级图神经网络探究每个任务中所有样本的局部语义特征之间的关系，去学习更具区分性的任务级局部语义特征。相比之前的基于图神经网络的小样本学习方法，本发明方法通过多层次的局部关系挖掘，使得学习到的样本间的相似性更细粒度、更准确，从而提升了小样本图像分类的性能。

技术领域

本发明涉及小样本图像分类领域，更具体地，涉及一种基于局部特征关系探究的小样本图像分类方法。

背景技术

近些年，深度学习在许多应用方面都取得了巨大成功，但是深度学习依赖于海量的训练数据。在一些场景下，例如推荐系统中的冷启动问题、医学问题等，可以利用的数据资源非常稀缺，并且获取这些数据的代价也很大。因此，在这些场景下，深度学习方法很容易过拟合，往往不能取得好的表现。

上述问题的存在使得越来越多的研究人员注意到了小样本学习，小样本学习的目标是用很少的数据或者有限的资源快速地学习到新的知识。小样本学习研究主要存在两个难点：一个是测试数据集中的样本类别是从未在训练数据集中出现过的，另一个则是对于测试数据集中那些从未见过的类别，只有很少几个样本是有标签的、可以用于训练的。为了解决小样本学习中的难题，人们提出了许多方法。目前，有两种主流的方法：基于优化的方法和基于度量学习的方法。基于优化的方法通过调整改善网络的优化策略，从而高效地学习模型参数。基于度量学习的方法则通常是用神经网络提取样本的特征，然后通过计算样本间的相似性去做预测。

由于小样本学习问题中可利用的数据资源非常稀缺，充分挖掘利用样本间的关系便显得尤为重要。鉴于图神经网络适用于探究样本间的关系，许多基于图神经网络的方法被提出来应用于小样本学习上。但是目前所有基于图神经网络的方法都是在探究样本间实例级别的关系，也就是说，这些方法往往把一个图像当成一个整体，先学习整个图像的表征，再去计算这些图像表征间的相似性，相似性通常是一个标量。但是，两个图像之间的关系往往比一个标量所能表达的含义更为复杂。首先，每个图像中通常存在着多个局部语义特征，例如狗的毛发、嘴巴、眼睛等。其次，不同的图像可能在某些局部特征上是相似的，但是在另一些局部特征上又不相似。因此，如果只用一个标量去表示两个图像之间的相似性，这样计算出来的相似性可能是不准确的。

发明内容

本发明提供一种准确率较高的基于局部特征关系探究的小样本图像分类方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于局部特征关系探究的小样本图像分类方法，包括以下步骤：

S1：使用卷积神经网络提取图像的初始局部特征；

S2：用S1得到的初始局部特征构造一个局部级图，通过局部级图神经网络提取图像的局部语义特征；

S3：用S2得到的所有图像的局部语义特征构造一个任务级图，通过任务级图神经网络探究局部语义特征间的关系，并运用于小样本图像分类。

进一步地，所述步骤S1的具体过程是：

对于一张输入图片x_p，首先通过卷积神经网络获得它的特征图U，如公式(1)，通过拉伸操作将图像的特征图变形，得到m个初始局部特征，如公式(2)：

其中Conv(·)表示卷积神经网络，c、h和w分别表示特征图的通道数、高和宽；m表示初始局部特征的数量，m＝h×w，c可理解成初始局部特征的维度。