[发明专利]一种基于特征和谐激活的小样本语义分割方法

说明书

本发明公开了一种基于特征和谐激活的小样本语义分割方法、小样本语义分割系统及计算机可读存储介质，所述方法包括训练分割模型用以进行语义分割的过程，分割模型训练过程包括以下步骤：对支撑图片和查询图片进行特征提取；对支撑特征和查询特征进行融合，获得中间特征激活图；对中间特征激活图进行更新，获得特征和谐激活图；对特征和谐激活图进行语义分割，获得查询图片的分割图。本发明所公开的基于特征和谐激活的小样本语义分割方法，在充分保留支撑和查询特征中细节信息的同时，将查询特征中的目标类别进行了准确而完整的激活。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于特征和谐激活的小样本语义分割方法，利用少量带标注的支撑样本对无标注的查询样本进行语义分割。

背景技术

深度学习在视觉、文字、语音、搜索等领域取得了巨大的进展，很大程度上得益于大量带标注的数据集。但是，数据集的标注需要耗费大量的人力物力，尤其是语义分割任务，其数据集需要像素级别的稠密标注，成本非常高昂。小样本学习可以通过学习少量带标注的数据，快速学习并优化模型，在很大程度上缓解了标注成本的问题。

小样本语义分割，首先将模型在一定量带标注的数据上进行特征提取学习，使得模型具有一定的特征表达能力；然后利用支撑集提供的少量图片，实现对查询集图片的准确分割。

目前，主流的小样本语义分割方法是基于度量学习框架，其主要做法是：将支撑图像中目标类别特征压缩为向量，作为目标类别的表征；然后利用此向量与查询特征空间位置上所有像素进行比对，依据其相似度来进行查询图像的分割。

但是，将目标类别特征压缩为语义向量的做法会丢失很多细节信息，同时，将语义向量和查询特征比对会导致支撑和查询特征元素中间交互不充分，使得查询特征中的目标类别特征不能很好地被激活，从而产生类别错分，分割不完整的问题。

因此，有必要提供一种小样本语义分割方法，其能够充分保留支撑和查询特征中的细节信息，且能够将查询特征中的目标类别进行准确而完整的激活。

发明内容

为了克服上述问题，本发明人进行了锐意研究，提出了一种基于特征和谐激活的小样本语义分割方法，对少量带标注的支持图像和查询图像提取特征，利用双线性特征激活模型和语义传播模型将支撑特征和查询特征进行融合，实现对查询图的和谐特征激活，并将目标类别准确分割。利用特征和谐激活的方法，在充分保留支撑和查询特征中细节信息的同时，将查询特征中的目标类别进行了准确而完整的激活，从而完成了本发明。

具体来说，本发明的目的在于提供以下方面：

第一方面，提供一种基于特征和谐激活的小样本语义分割方法，所述方法包括训练分割模型用以进行语义分割的过程，分割模型训练过程包括以下步骤：

步骤1，对支撑图片和查询图片进行特征提取；

步骤2，对支撑特征和查询特征进行融合，获得中间特征激活图；

步骤3，对中间特征激活图进行更新，获得特征和谐激活图；

步骤4，对特征和谐激活图进行语义分割，获得查询图片的分割图。

第二方面，提供一种小样本语义分割系统，优选用于实施第一方面所述的方法，所述系统包括特征提取单元、特征激活单元、语义传播单元和分割单元，其中，

特征提取单元，用于支撑图片和查询图片进行特征提取；

特征激活单元，用于引导支撑特征对查询特征进行激活，获得中间特征激活图；

语义传播单元，用于对中间特征激活图进行传播更新，获得特征和谐激活图；

分割单元，用于对特征和谐激活图进行语义分割，获得查询图片的分割图。