[发明专利]小样本图像识别的任务重要性感知元学习方法

说明书

本发明提出小样本图像识别的任务重要性感知元学习方法，所述方法包括步骤一、形成多个不同的元批次、每个元批次包括多个不同的任务；步骤二、对于每一个任务，建立深度网络模型，选取合适的损失函数，完成在该任务上的内层更新；步骤三、构造任务重要性感知函数，对于同一元批次所有任务的验证损失，通过任务重要性感知函数计算任务重要性系数；步骤四、进行外层更新，完成一个元批次的训练；每一个外层元批次训练结束后得到的模型参数作为下一个元批次的初始参数，如此循环往复，不断进行内外双层更新直至模型收敛，从而完成小样本图像识别的任务重要性感知元学习。

技术领域

本发明属于图像识别技术领域，特别是涉及小样本图像识别的任务重要性感知元学习方法。

背景技术

目前，计算机视觉和深度学习技术获得了飞速发展。特别是在有监督学习领域，随着可用数据集的增加，国内外研究者接连提出了一系列有关计算机视觉识别任务的图像分类、目标检测和语义分割网络模型，分别实现对输入图像的全局场景理解、对图像包含目标物体的矩形框定位和像素级分类识别。

这些网络模型的改进之处可以总结为以下两部分：一是改进网络架构，如ResNet/U-net/DenseNet/PANet等，通过增加相邻或不同层级特征图之间的联系以及特征融合/聚合，增加特征提取的深度和宽度，从而提高模型的特征提取能力；二是设计特殊功能模块，如通道/空间自注意力机制和Transformer系列等，通过加入新功能模块或替换原始模块来提高模型对某些重要性特征的感知能力，从而提高模型性能。

统一地，基于有监督学习的计算机视觉识别任务可以用下式表达：

其中，f表示识别模型，w表示模型参数，w^*表示经过优化算法更新得到的最优模型参数，表示模型所在的假设空间，E表示期望运算，l表示损失函数，x表示输入数据(向量形式)，y表示标签(向量形式)，D_train表示训练集。

对于有监督学习的计算机视觉识别任务，上式表达的基本思想是在获得训练集输入数据x-真实标签y的基础上，针对不同的识别任务，选取相应的网络架构f，采用相应的损失函数l，让训练集输入数据x经过模型得到的输入f_w(x)与真实标签y差异的期望(或平均值)达到最小，此时训练完毕、得到最优参数w^*，相应的模型即为识别性能最优的模型f_w*。对于不同的识别任务，网络架构f和损失函数l可以采用不同的形式。比如，图像分类问题可以采用VGG/ResNet等网络模型，目标检测问题可以采用Faster R-CNN/YOLO系列等网络模型，语义分割可以采用U-net/Deeplab系列等网络模型。分类问题可以采用交叉熵损失函数，回归问题可以采用最小平方误差损失函数。

可以发现，按上述方法解决此类问题十分依赖于监督条件，即首先要收集大量的训练数据和标签，并且训练样本的数量越多、类别越丰富、标签精度越高，模型的识别和泛化能力就越好。然而，在实际场景下，数据集往往具有信息不完备、样本不充分、数据不平衡、标签不精准的特点，导致训练模型的特征表达能力不全面，进而引起在小样本数据集上训练得到的模型识别和泛化能力较差。

针对小样本学习问题，研究者提出了元学习(meta learning)的概念，即学会学习(learn to learn)，基本思想如下。

首先，从训练集中随机选取不同类别的样本组成支持集(support set)和查询集(query set)，构成不同的任务(task)；对于每一个任务，建立深度网络模型(根据识别对象的不同可以是图像分类或目标检测或语义分割模型)，使用支持集的数据及标签进行有监督学习，训练完毕得到适应于该任务的模型参数。