[发明专利]基于轻量级多尺度特征增强网络的小样本图像分割方法

说明书

基于轻量级多尺度特征增强网络的小样本图像分割方法，提供了一种新型的小样本图像分割网络，即轻量级多尺度特征增强网络Lite‑FENet，该网络提取具有丰富的上下文信息的多尺度特征表示，为预测像素生成描述性特征，能够有效缓解支持样本和查询样本之间存在的偏差。此外，该网络可以替换小样本图像分割方法的后端特征交互模块，进一步提升性能。本发明提供了空间交互模块SIM，以较低的参数量实现了长距离不同空间尺度之间上下文信息传递，其中自上而下的跨尺度传输自适应地为低分辨率特征提供所需的信息，并输出细化的特征图。该方法能够准确、高效地对查询图像特定目标类别进行预测分割，抑制错误预测，当支持样本和查询样本出现偏差时仍具有鲁棒性。

技术领域

本发明涉及深度学习、计算机视觉领域，具体是涉及一种基于轻量级多尺度特征增强网络的小样本图像分割方法。

背景技术

图像分割是计算机视觉领域中的一项基本的任务，它在图像的像素级进行上分类，使之将每个像素匹配到某个类别，从而将整幅图像划分成多个对象区域。图像分割已经在广泛的实际应用中起到核心作用，如自动驾驶和医疗影像。在深度学习技术的推动下，现在一些基于完全监督的图像分割方法已经取得优异的结果，但为大量样本精细地逐像素标注要耗费大量时间且代价昂贵，而在现实生活中许多类别样本并不容易采集，如罕见肿瘤影像等。为了解决这两方面问题，只利用少量带有标注的样本实现对未见类别物体的分割方法——小样本图像分割，最近被提出并引起了越来越多人关注。小样本图像分割任务的训练集和测试集类别不相交，因此需要获得一个泛化性能强的模型，使得模型能从少量支持样本中学得特定于该类的知识，迁移到不可见类仍可以保持其准确性。

目前的小样本图像分割方法主要是基于度量学习的元学习方法，将训练集和测试集分成两个集合，分别是支持集和查询集，其中支持集是待分割的图像，支持集是可以利用的少量带有标签的支持样本，(例如，只有1个支持样本可以利用，称为1-shot情景)。此外，现有的模型大多采用双分支框架，利用共享权重的骨干网络分别提取查询和支持特征，然后再利用一些特征处理手段来挖掘更多信息，如通过设计一些度量函数计算查询和支持特征之间的相似度，可以获取查询图像的粗糙分割结果，然后将查询特征、支持特征以及其他额外信息一起输入到特征解码器当中对查询特征进行匹配映射，预测最终的分割结果。为了提高模型性能，多尺度特征融合方法常用于捕获空间上下文信息。然而，现在的一些多尺度结构交互深度较浅，并非能有效捕获查询和支持特征之间的空间上下文关系，从而产生次优的结果而且具有庞大的计算代价。

发明内容

为了解决上述问题，本发明提出了一种基于轻量级多尺度特征增强网络的小样本图像分割方法，其设计了一种新颖的用于小样本图像分割特征增强网络结构，即轻量级特征增强网络(Lightweight Feature Network,Lite-FENet)。该网络能在多次交互后有效地利用来自查询和支持样本的信息来丰富具有判别性的特征，保证最终预测结果的准确性，并且可以在当前借助原型的小样本图像分割方法中替换地替换特征解码模块，以优化性能；此外，并为该网络设计了一个轻量高效的空间交互模块(Spatial InteractionModule,SIM)，以实现远距离不同空间尺度之间的上下文信息传递。

基于轻量级多尺度特征增强网络的小样本图像分割方法，包括如下步骤：

步骤1，获取用于小样本图像分割的数据集，划分为训练集和测试集，其中为每次训练或测试随机选取样本对，每个样本对包括一个支持集和一个查询集，查询集包含1个查询样本，支持集包含K个带有注释的支持样本；所有样本以及掩膜标签经过统一的数据预处理；

步骤2，使用预训练的骨干网络提取支持样本和查询样本的特征，并使用支持样本的高级特征与查询样本的高级特征进行余弦相似度计算，得到查询样本的先验掩膜

步骤3，利用支持样本标签与中级支持特征，通过掩码平均池化操作提取出支持原型特征向量，并将此一维特征向量膨胀到同先验掩膜同等空间大小，得到