[发明专利]基于视觉基元挖掘的小样本图像分类方法

权利要求书

1.一种基于视觉基元挖掘的小样本图像分类方法，其特征在于，包括如下步骤：

(1)利用自监督拼图任务的损失作为特征提取器的正则项，对基元挖掘网络进行约束：

(1a)对图像分类任务中的支持集B_S和查询集B_Q所包含的所有图片使用卷积神经网络提取图像特征f；

(1b)将任务中支持集B_S的图像分割成大小相等的9个图像块，提取每个图像块的特征，使用该特征训练基元挖掘网络执行图像块相对位置分类任务，将全连接层的交叉熵分类损失L_ssl作为基元挖掘网络的损失函数，对基元挖掘网络进行约束；

(2)在图像特征f基础上合成视觉基元：

(2a)用(1a)操作得到的所有图像特征f构成集合Ω；

(2b)对集合Ω中的每个图像特征采用k组并行的自适应通道分组操作得到k组特定权重；

(2c)使用k组权重分别对每个图像特征的所有通道进行加权聚类，得到k组空间相关和语义相关的通道，并分别对k组通道进行加权生成k个基元级掩码m_i，再使用k个基元级掩码m_i对图像特征进行过滤获得k个初始基元p_i；

(3)获取视觉基元之间的内部相关性：

(3a)使用初始视觉基元构建一个基元关系图，并对k个视觉基元特征采用全局平均池化操作后嵌入到基元关系图中，作为基元关系图的k个节点；

(3b)计算基元关系图中k个节点之间的相关性矩阵，以表示视觉基元之间的内部相关性；

(3c)使用基元关系图的节点，根据基元关系图的相关性矩阵，使用图卷积操作进行图卷积推理更新基元关系图中的节点特征，使得各个节点的视觉基元可编码自身节点的视觉基元与其他节点的视觉基元之间的相关性信息，以得到带有相关性信息的视觉基元；

(4)使用视觉基元合成特定任务的注意力特征，为每个视觉基元生成特定任务的权重：

(4a)通过步骤(2)和步骤(3)为每个来自于支持集的图像样本x^s∈B_S，提取一组视觉基元P^s，对每个来自查询集的图像样本x^q∈B_Q，提取一组查询图像的视觉基元P^q；

(4b)将两个视觉基元P^s和P^q分别压缩为两个基元映射和并将这两个基元映射拼接成映射对

(4c)连接k个基元映射建立特定任务的注意力特征F_a∈R^A·H·W，使用注意力特征F_a训练跨任务的权重生成器G(·)，自适应地将更高的权重分配给重要的视觉基元；

(5)计算基元相似度实现图像分类：

(5a)根据(4c)中生成的权重，对视觉基元进行加权，计算支持集中图像基元与查询集中图像基元之间相似度，并用其作为不同图像间的相似度；

(5b)使用交叉熵分类损失函数对不同图像间的相似度进行优化，得到图像的分类结果。

2.根据权利要求1所述的方法，其特征在于：步骤(1b)中使用图像块特征训练基元挖掘网络执行图像块相对位置分类任务，其实现如下：

将图片按行和列划分为大小相等的h.w个图像块，对这些图像块随机排列得到图像块序列x^p，并将x^p中图像块的位置索引作为图像块标签y^p，其中，h是图片分割的行数，w是图片分割的列数；

将图像块序列x^p输入到特征提取器f(·)中，得到h·w个图像块特征并对其进行连接，得到串联图像块特征f^p；

将串联图像块特征f^p中的所有图像块输入到卷积神经网络的全连接层中得到每个图像块的分类结果。

3.根据权利要求1所述的方法，其特征在于：步骤(1b)中将全连接层的交叉熵分类损失L_ssl作为基元挖掘网络的损失函数，表述如下：

其中，f^p∈R^h·w·d，h·w是分割后的图片块数量，d是特征图的维度。