[发明专利]一种基于语义感知图神经网络的小样本图像分类方法及系统

说明书

本发明公开了一种基于语义感知图神经网络的小样本图像分类方法及系统，针对图片级标签导致类别语义模糊的问题，首先将边的表示进行细化，使边从一个表示相邻结点全局相似度的标量细化为一个表示相邻结点每一像素位置相似度的向量。然后在边细化的基础上进一步引入语义校准模块来更新边特征，其通过计算相邻结点间的关系矩阵，并将关系矩阵转换为每一像素位置的边值来让边显式地表示结点间的语义相似性，进而通过多层图神经网络的更新传播语义信息以改善最终的分类结果。本发明在miniImageNet数据集上的实验表明本发明可以提高小样本图像分类的精度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于语义感知图神经网络的小样本图像分类方法及系统。

背景技术

近年来，得益于计算机算力的飞速提升，深度学习成为了人工智能领域研究的热门。然而深度学习繁荣发展的背后是大规模人工标注的数据集的支撑，并且越加复杂的网络就越需要更加庞大的数据集来训练。但是在一些特殊的领域数据是非常匮乏的，如医学中罕见病例的判别，其现有的有限医学图像是远远不够用于训练一个良好的深度模型的。不仅如此，现有的深度神经网络模型往往泛化性很差，比如用大量的猫狗图片训练了一个良好的猫狗分类器，但是如果想将其用于鸟的识别就又需要大量的鸟的图片来训练。这时就希望模型可以减少对数据的依赖，像人类一样可以进行快速的学习，那么将会大大减少数据的人工标注成本，基于此小样本学习渐渐得到了许多研究者的关注。

小样本学习顾名思义就是在带标注数据不充足的情况下进行的学习任务，一个优秀的小样本学习模型通过一定量任务的训练后，不需要进行额外的训练就可以泛化到新的任务上。小样本学习的研究大多依托于分类任务，目的是希望分类器像人类一样具有快速学习的能力，即仅仅通过少量的样本就可以识别新的类。现有的小样本学习方法大致可以分为基于度量学习、基于元学习、基于数据增强以及基于图神经网络四种，其中基于图神经网络的小样本学习方法是近两年新兴起的研究方向，可以视为对基于度量的小样本学习方法的一种改进。

基于图神经网络的小样本学习方法通过将支持集和查询集图像的嵌入表示一起作为初始的结点特征来构建一个图，图的边特征表示相邻结点特征之间的相似程度。在构建好图之后送入到图神经网络中进行迭代更新，更新过程可以视为一个根据边特征来聚合相邻结点特征的过程，最终根据更新后的结点特征或者边特征来预测查询图像对应结点的类别。这类方法存在的问题是，图神经网络中的边特征通常是一个标量来表示相邻结点之间的整体相似度，并且由于只有图片级的标签，无法进行对关键的类别语义区域进行感知，导致得到的相似度与我们所希望的语义相似度之间是存在偏差的。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于语义感知图神经网络的小样本图像分类方法及系统，通过构建语义感知图神经网络来解决图像级标签引起的语义模糊问题。

本发明采用以下技术方案：

一种基于语义感知图神经网络的小样本图像分类方法，包括以下步骤：

S1、采样小样本学习任务T；

S2、构建嵌入网络F_emb，将步骤S1得到的小样本学习任务T中的所有样本x_i送入嵌入网络F_emb中，得到每一个样本x_i的特征图f_i；

S3、构建一个全连接图G_T，将步骤S2得到的每个样本x_i的特征图f_i作为初始的结点特征并根据查询样本的标签初始化边特征

S4、构建由L层图神经网络构成的语义感知图神经网络SGNN，将步骤S3构建的全连接图G_T输入到语义感知图神经网络SGNN中迭代进行结点特征更新，然后利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征