[发明专利]基于注意力机制的one-shot图像分割方法

说明书

本发明提供一种基于注意力机制的one‑shot图像分割方法。在单个特征和简单的双分支融合不足以使查询分支从支持分支中提取有用信息的情况下。本发明为了支持分支关注于两个分支共性的区域，以便准确地引导查询分支分割图像，将多级上下文特征和注意模块引入到one‑shot图像分割中找到更准确有效的指导方法。本发明能更好地利用现有的知识迅速对新类图像进行分割，利用多级指导和注意力机制来强化学习两个分支的共性，进而准确地指导未知图像的分割。

技术领域

本发明涉及图像分割技术，特别涉及one-shot图像分割技术。

技术背景

图像分割是图像分析和理解的关键步骤，旨在对图像中每个像素进行分类。此外，图像分割技术在辅助驾驶、医学影像分析、目标识别、图像理解等领域有着广泛的应用。因此，研究图像分割方法对计算机视觉的发展具有深刻的意义。

近年来，图像分割、目标检测和图像分类的快速发展离不开深度神经网络，但其性能的显著提升严重依赖于耗时耗力的人工标注。然而，通过利用大量手工标注来训练分割模型很难适应实际应用的需求。此外，将已经训练好的分割模型直接分割未知类别的图像是很困难的。于是，few-shot分割方法被提出来，该方法旨在通过利用未知类别极少量标注图像的有效指导，分割该类别的其他图像。

Few-shot图像分割方法自2017年提出至今，所提出的方法基本上都是两分支的网络结构，其中一个分支(支持分支)采用标注的图像(支持图像)，另一个分支(查询分支)分割未知图像(查询图像)。支持分支试图学习一种指导方式来指导查询分支分割两分支图像相同的目标类。现有的指导方法大概可以分成两种，一种是利用支持分支的特征，将支持分支的特征和查询分支的特征合并或相加，作为查询分支的特征；另一种是利用支持分支学习一组网络参数用于查询分支。Few-shot图像分割通常有one-shot和five-shot两种。one-shot是指支持分支利用一张带标注的图像指导查询分支，five-shot是指支持分支利用五张带标注的图像指导查询分支。

因此，对于few-shot图像分割，最重要的是找到一种准确有效的指导方法。然而，从极少量的标注图像中寻求一种准确的指导很难，已经存在的few-shot分割方法存在一些缺点：1)简单的合并和相加运算不足以有效地指导未知图像以获得准确的分割结果。2)上述大多数方法只考虑单个输出(通常是已知图像网络最后一层的特征或某一层的参数)进行引导，该指导没有更多地关注上下文特征。

发明内容

本发明所要解决的技术问题是，提供一种新的one-shot分割方法，在继续沿用两分支的网络结构的基础上，利用多级指导和注意力机制，充分利用支持图像所提供的信息且重点关注两分支共性的区域。

本发明为解决上述技术问题所采用的技术方案是，针对目前利用最后一层特征来监督指导没有充分利用标注图像所提供的信息，本发明利用多级特征进行指导；为了使得指导更多的关注于两分支共性的区域，将注意力机制引入。基于注意力机制的one-shot图像分割方法，包括以下步骤：

1)构建基于注意力机制的两分支one-shot图像分割网络：

支持分支由N层特征提取块串联而成；

查询分支包括N层特征提取块以及M个注意力模块，M小于N；第1层特征提取块输出至第2层特征提取块，第2层至第N层特征提取块中不需要进行注意力指导的特征提取块直接输出至下一层特征提取块，需要进行注意力指导的特征提取块的输出至对应的注意力模块；第1至第M-1个注意力模块的两个输入分别来自于查询分支中对应需要进行注意力指导的特征提取块的输出以及支持分支中同层特征提取块的输出；第1至第M-1个注意力模块分别输出至对应需要进行注意力指导的特征提取块的下一层特征提取块；支持分支最后一层特征提取块与查询分支最后一层特征提取块均输出至第M个注意力模块；

第M个注意力模块输出至反卷积模块；

2)构建训练集；