[发明专利]一种基于小样本学习的注意力机制关系对比网络模型方法

摘要

本发明公布了一种注意力机制关系对比网络模型方法，构建在少量有标签样本数据下进行小样本学习的注意力关系对比网络模型。基于关系网络架构，将模型分为特征编码、特征组合和关系编码部分，特征编码模块的作用是进行图像特征信息提取，特征组合部分是将提取的查询图像特征信息分别与每组的训练图像特征信息进行重新组合，形成新的组合特征图。关系编码模块进行网络的非线性度量学习，通过在端到端的深度卷积神经网络模型中引入注意力机制和谱归一化的方法，实现模型在小样本学习情况下具有更高的分类准确率，并且提升模型最终训练结果的稳定性，提高现有模型在小样本学习中的图像分类准确率。

主权项

1.一种图像分类方法，其特征是，包括：建立基于小样本学习的注意力机制关系对比网络模型，称为ARCN模型；利用深度卷积网络对少量有标签图像和查询图像进行特征信息的提取；再利用提取的查询图像特征信息与有标签图像特征信息形成新的组合特征信息；最后通过深度卷积网络学习新的组合特征信息之间的深度度量关系，通过比较深度度量关系实现对图像的分类，由此达到仅利用少量的标签图片进行训练即可实现图像分类的目的；具体包括如下步骤：步骤1：对图像数据集进行预处理，包括：将小样本的图像数据集分成训练集、测试集和验证集；再将训练集分为训练样本集L和训练查询集Q，用于进行C类K样本训练；具体从训练集图像中随机选取C个不同类别；从每类别中选取K张带标签的图像组成训练样本集L；将剩余的图像作为训练查询集Q；构建ARCN模型；所述ARCN模型包括：特征编码部分、特征组合部分和关系编码部分；执行步骤2)～5)：步骤2：建立特征编码部分，利用卷积神经网络提取小样本图像特征，得到训练样本集图像和训练查询集图像的特征信息；特征编码部分包括四个卷积模块和一个注意力机制模块；2.1 设计特征编码部分的卷积模块，四个卷积模块均包括操作有：卷积层运算、谱归一化、批归一化、ReLU函数激活层操作；2.1.1 卷积层运算：第一卷积模块中的卷积层输入是训练样本集图像C_ij(i＝1,…,c；j＝1,…,K)和训练查询集图像C_n(n∈i)，其中i为样本图像的类别编号；j为某一类别中图像的编号；n为查询集图像的类别编号，与i的类别编号范围一致；分别设置四个卷积模块的卷积层输入特征图通道数、卷积核大小、输出特征图通道数、填充的取值；卷积层运算后均得到64个特征图x^l(l＝1,2,3,4)，其中l为卷积模块编号；2.1.2 谱归一化处理：对卷积操作的权值参数进行归一化处理，使得得到的权值参数满足1‑Lipschitz连续性条件，在进行小样本学习时提升训练结果的稳定性；网络的前馈计算的输出特征图表示为其中网络的卷积模块经卷积层操作后输出特征图为f^l是非线性的激活函数，W^l和b^l分别是网络的权重矩阵和偏差向量；为上一卷积模块输入的特征图；利用σ(W)表示矩阵W的谱范数，计算权重矩阵W的最大奇异值，表示为式1：其中，x为特征图；在线性层f(x)＝Wx是通过||f||_Lip＝σ(W)给出的，对于Lipschitz范数的激活函数||f_l||_Lip＝1^l，而对于偏差向量||b||_Lip＝0，进一步表示为式2：利用谱归一化对权重矩阵W的谱范数进行归一化，权重矩阵W满足Lipschitz常数即σ(W)＝1，得到式3：网络每层的随机初始化权重为W，通过式4进行迭代更新：式中，x_l为迭代更新后的权重；再利用近似的奇异值近似逼近权重矩阵W的谱范数，表示为式5：σ(W^l)≈(x^l)^TW^lv^l                      (式5)σ(W_l)是经过谱归一化后的权重参数；2.1.3 利用批归一化对谱归一化后的权重参数进行处理；2.1.4 对权重参数进行ReLU函数的激活；2.1.5 对于第一卷积模块和第三卷积模块，需要增加最大池化层；第二卷积模块和第四卷积模块不设置最大池化层；2.2 设计特征编码部分的注意力机制模块在第二卷积模块和第三卷积模块之间引入注意力机制模块，使得网络有针对性的提取图像中较为关键的特征信息，同时弱化无关背景的干扰；包括：2.2.1 注意力机制模块的输入特征图为x₁∈R^C×W×H，其中x₁表示的是第二卷积模块输出的特征图，C为特征图的通道数，W×H是特征图的大小；设置卷积层的卷积核大小；通道数量与输入的特征图通道数C相同；再利用激活函数ReLU进行处理，表示为式7：f₁(x₁)＝ReLU(Conv₁(x₁)),f₁(x₁)∈R^C×W×H              (式7)2.2.2 三个卷积层为Conv_2，1，Conv_2,2和Conv_2，3，输入的特征图为x₂＝f₁(x₁)，设置卷积核的大小，输出的通道数量与输入的特征图通道数C相同；对得到的特征图进行softmax处理，得到网络的注意力机制特征图F_2,i∈R^C×W×H(i＝1,2,3)，表示为式8：F_2,i＝f_2,i(x₂)＝Softmax(Conv_2,i(x₂)),i＝1,2,3            (式8)2.2.2 输入的特征图为x₁∈R^C×W×H，Conv_3,i(i＝1,2,3)与卷积层Conv_2,i操作不同，采用空洞卷积以扩大卷积核的感受野，设置卷积核大小、卷积核膨胀值使得输入与输出特征图的大小不变；设置填充取值，输出的特征图通道数量与输入的特征图通道数C相同；之后进行批归一化运算，输出得到特征图F_3,i∈R^C×W×H，表示为式9：F_3,i＝g_i(x)＝BN(Conv_3,i(x)),i＝1,2,3         (式9)2.2.3 将F_3,i的特征图进行转置，使得上下两通道的特征图矩阵可相乘，由此得到的输出特征图表示为式10：式中，β_i的初始值为0，β_i的作用是通过训练网络，自动加强对目标区域的关注，同时弱化背景的无关干扰信息；F_2,i为得到的注意力机制特征图，F′_3,i为得到的特征图的转置；步骤3：特征组合部分，包括如下操作：特征组合部分是将特征编码部分所提出的训练样本集L特征信息与查询集Q的特征信息进行重新组合，便于关系编码部分对组合特征信息的学习；包括：3.1 将训练样本集L经过图像C_ij(i＝1,…,c；j＝1,…,K)中同一类的特征图进行求和处理，得到同一类别的新特征图表示为式11：3.2 将同一类别的新特征图与步骤2所提取的查询集Q中图像C_n(n∈i)的特征图相加，得到训练特征图与查询特征图的组合特征图S，表示为式12：步骤4：关系编码部分：进行网络的非线性度量学习，操作如下：采用元学习度量方式，通过对小样本分类任务的训练学习，使得网络学习到适应相应任务的较好深度度量方式，从而实现图像之间的比较；关系编码部分包括两个卷积块层和两层全连接层，包括如下操作：4.1 设置两个卷积块的输入特征图的数量、卷积核大小、输出特征通道数；之后依次对卷积操作后的特征图进行批归一化处理、ReLU的非线性激活、最大池化处理；4.2 设置全连接层的第一层FC1的输入；在FC1处采用ReLU激活函数进行处理；4.3 在FC2处采用Sigmoid激活函数，使得最终的分类得分O_i,n∈[0,1]，表示为式13：步骤5：建立网络的损失函数，包括：利用均方误差损失函数loss对模型进行训练，使得训练的模型的分类得分O_i,n与实际分类结果相一致，表示为式14：网络在训练的过程中，采用Adam学习策略，根据loss值的大小，反向更新步骤2)～4)中各部分的网络权值参数，设置学习率为λ，网络需要训练迭代的次数为n，当网络迭代n次后结束训练；最终使得网络对同一类别的度量对比得分为1或者趋近于1，不同类别的度量对比得分为0或者趋近于0；得分高的类别即为图像分类的结果；通过上述步骤，即通过建立基于小样本学习的注意力机制关系对比网络模型实现图像分类。