[发明专利]一种基于类别语义特征重加权的小样本目标检测方法及系统

说明书

本发明公开了一种基于类别语义特征重加权的小样本目标检测方法及系统，使用类别标签的语义信息计算出基类和新类类别之间的关联性，然后根据基类和新类之间的关联程度，使用图卷积网络将基类的元特征传递给新类的元特征，使在只有少量新类数据的情况下学习到较好的新类元特征。本发明按照基类和新类类别构造支持集和查询样本；根据基类和新类类别构造类别语义图；构造类别语义嵌入模块；使用两阶段的训练方式对整个网络进行训练，该网络包括特征提取器、元学习器、类别语义嵌入模块和检测层，在PASCAL VOC上的对比实验证明了本发明的有效性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于类别语义特征重加权的小样本目标检测方法及系统。

背景技术

近几年，由于计算机硬件的快速发展，以及ImageNet等大规模带标签数据集的出现，人工智能得到了巨大的发展，使其在许多领域都超过了人类。但是，想要让人工智能像人类一样能够利用少量样本学习到新的知识并用于解决实际问题，仍然面临着许多问题与挑战。

深度学习作为一项数据驱动的技术，一般依赖于大量的训练数据才能使模型获得良好的结果。但在现实世界的真实场景中，收集大量的数据并进行相应的标注需要消耗专业人员大量的精力和时间，甚至在某些特殊的应用领域，例如罕见或重大疾病以及违禁物品的识别与检测等，标签的获取和制作过程都较困难。因此，让深度学习模型具有从少量样本中快速学习的能力成为国内外学者开始专注研究的问题，这一类问题被称为小样本学习。

目前，小样本学习方法的应用领域广泛，但基于小样本学习的目标检测领域的相关研究较少。目标检测是计算机视觉领域一个经典的任务，如何把经典的目标检测方法与小样本场景相结合也是一个研究的热点。随着小样本目标检测相关研究的深入，能够在数据匮乏的场景下解决目标检测问题，同时降低对数据的依赖，促进人工智能项目的落地，因此研究小样本场景下的目标检测任务具有一定的科研价值和实用价值。

早期，人们通过扩充样本数量来解决小样本目标检测的问题。由于原始数据集中的样本数量较少，样本的可扩充空间有限且生成的样本或特征过于相似，导致利用扩充后的数据集对模型进行训练后，模型的提升效果并不高。所以，现在更多地从学习策略出发，通过修改原始目标检测模型的结构，更多地利用少量有标签样本和待检测样本自身的信息。

目前的小样本目标检测方法主要是将小样本学习方法与成熟的目标检测框架相结合。具体可分为两种，第一种是使用度量学习的小样本学习方法，通过计算输入特征与其它类别特征之间的距离，判断输入图片所属类别，以此训练一个模块最为目标检测模型的分类头，从而实现小样本目标检测效果。第二种是使用元学习的小样本学习方法，通过在原始目标检测模型的基础上添加一个元学习器学习支持集样本的特征，并用该特征调整待检测样本的特征，然后对调整后的特征进行检测。在利用少量带标签训练样本进行目标检测时，先使用大量的基类样本训练一个基础模型，然后使用少量样本进行模型的微调，但这一训练过程中并没有充分利用基类与新类类别之间的关联性，最终，模型能够学习到一个鲁棒的基类特征表示，但新类特征的可判别性较差，特别是当新类只有1个或2个有标签的训练样本时，可以利用的自身监督信息更少，这直接影响到新类样本的检测结果。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于类别语义特征重加权的小样本目标检测方法及系统，解决了现有的基于元学习的小样本目标检测方法中，学习基类和新类的元特征时，针对没有充分利用基类和新类类别的关联性，导致新类的元特征表达能力较差的问题。

本发明采用以下技术方案：

一种基于类别语义特征重加权的小样本目标检测方法，包括以下步骤：

S1、将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；

S2、根据步骤S1得到的支持集样本S的类别标签构造初始类别语义图G；