[发明专利]融合局部与全局特征的快速语义分割网络和语义分割方法

说明书

本发明提供了融合局部与全局特征的快速语义分割网络和语义分割方法，通过双分支结构分别提取输入图像的局部信息和全局信息，使其更好地融合得到包含较多信息的分割特征，解决了局部和全局特征难以交互的问题，有效实现了提高分割效率和整体性能的功能。本发明提出了一种新的多尺度特征融合模块，利用Transformer的语境信息以及卷积的局部表示特征；可以同时处理局部以及全局特征信息，在快速的医学图像分割中展示出了非常优秀的性能。本发明在提取全局特征与局部特征的同时降低了计算时的复杂度，在保证分割结果的同时减少了网络训练所需的时间，实现了在保证分割速度的同时提高分割性能的功能。

技术领域

本发明属于深度学习技术领域，具体涉及融合局部与全局特征的快速语义分割网络和语义分割方法。

背景技术

图像分割在医学图像分析中起着重要的作用，特别是在临床诊断中被广泛用于解剖结构的定量分析。随着深度学习技术的发展，卷积神经网络在医学图像分割方面取得了实质性的进展，特别是全卷积网络和它的变体，比如UNet、DeepLab这些已经成为了实际上的选择。基于这些方法，许多工作在医学应用方面已经取得了很大的进展，比如说胸部CT血管分割，MRI心脏分割以及淋巴结分割等。

早期关于目标检测以及图像分割的研究时已经显示出了多尺度特征融合的效率。然而，现在仍不是特别清楚能否可以通过整合来自与卷积层以及Transformer层的特征来进一步的提高分割性能。所以，我们提出了一个多尺度特征融合模块。对于低分辨率的特征图，我们使用了一个线性瓶颈结构以及插值操作，与之前的输出相比，这样的操作可以得到相同的维度和分辨率的特征图。比如说分辨率为原图像1/32的输入在线性瓶颈结构后经过上采样操作会具有相同的尺寸。

尽管基于FCN的方法具有特殊的表示能力，但是由于卷积操作的局部接受能力，它们捕获全局的上下文信息以及远程依赖关系的能力受到了限制。这种限制在捕获多尺度上下文信息时会导致可变形状和尺度结构的次优分割。以往的研究都试图通过DeepLab中的扩展卷积，PSPNet中的特征金字塔池化，UNet中的自注意力机制等来减轻这一问题。然而，在医学图像分割任务中，仍然没有研究能够完全提取出全局语境特征。

基于Transformer的模型在NLP领域的序列到序列的建模中被提出，并在各种任务中都取得了先进的成果。Transformer中的自注意力机制使得它们可以学习远程依赖关系并建立序列之间的全局关系。Transformer在计算机视觉方面的图像分类任务中也取得了最先进的表现。后来，人们提出了许多基于Transformer的语义分割方面的工作，比如SETR，Swin Transformer，TransUNet，Swin-UNet，DS-TransUNet，TransFuse，VOLO等。然而，这种基于Transformer的方法，在对远程依赖关系建模时，存在的很大的计算量以及空间结构非常复杂。这对医学图像处理中的实时医疗诊断，比如说放疗，有极大的阻碍。

发明内容

本发明要解决的技术问题是：提供融合局部与全局特征的快速语义分割网络和语义分割方法，用于提高分割图像的性能。

本发明为解决上述技术问题所采取的技术方案为：一种融合局部特征与全局特征的快速语义分割网络，包括第一分支、第二分支和MSFFM多尺度融合模块；第一分支为CNN分支，包括多个卷积层，用于提取图像的局部特征信息；第二分支为Transformer分支，包括LN层、多个Outlooker注意力层和一系列转换器MLP，用于通过下采样和自注意力机制提取图像的全局特征信息和上下文特征信息；第一分支和第二分支输出的特征信息通过多个双边连接以交互的方式融合；第二分支的每次计算输出与第一分支的输出进行交互，用于让第一分支更好的学习全局特征且不增加计算复杂度；第二分支的每次计算输出连接到MSFFM多尺度融合模块，MSFFM多尺度融合模块用于融合通过交互方式融合后的第一分支和第二分支输出的特征信息，对信息做多尺度的融合操作。