[发明专利]基于四分支注意力机制的卷积神经网络及图像分割方法

说明书

本发明公开了基于四分支注意力机制的卷积神经网络及图像分割方法，解决了现有技术中特征信息提取不全面，获取特征信息维度单一对医学图像分割精度和准度较低的问题，网络利用四个分支组成的注意力结构来捕获通道和空间位置之间的跨维度交互特征，帮助其学习更多的通道相关性和空间相关性以及通道空间交互的相关性；利用长短跳跃连接模块使用长短跳跃连接来替代普通的跳跃连接，用于提高高分辨率信息和低分辨率信息的特征融合，采用本发明网络对图像进行分割，能够提高医学图像，特别是腹部CT图像中肝脏和肝脏肿瘤的分割精度和准确度。

技术领域

本发明属于图像处理技术及模式识别领域，具体涉及基于四分支注意力机制的卷积神经网络及图像分割方法。

背景技术

肝癌已成为世界上最常见、最致命的癌症，严重影响人类健康。手工标记肝脏和肝脏肿瘤具有主观性，准确性有限，且缺乏可重复性。通常CT图像具有噪声大、对比度低，以及肝脏和肝脏肿瘤与其他组织的边界灰度差异性较小等特点，并且肝脏肿瘤的形状和大小复杂多样，与邻近器官灰度值相近，因此直观分割肝脏和肝脏肿瘤比较困难；同时，对腹部CT图像进行逐切片手工标注不仅过程繁琐、效率低下，而且极易受到主观因素的影响，导致其分割精度有限。因此，对肝脏及肝脏肿瘤自动分割的研究不仅有助于临床医生进行术前分析和诊断，而且可以减少临床医生的工作量。目前，计算机视觉结合医学影像研究已成为智能医疗领域热点。其中，基于深度学习的肝脏及肝脏肿瘤分割技术可以获取肝脏以及肝脏肿瘤的大小以及几何形状等信息，从而辅助医生的初期诊断和治疗。

在深度学习技术出现之前，肝脏和肝脏肿瘤分割通常是半自动的，它们主要依靠基于模型驱动的图像分割算法，例如活动轮廓模型、图切割、形状统计模型等。这些方法可以大致分为三类：基于像素的方法、基于图的方法和基于轮廓的方法。第一种方法包括阈值化和区域合并，这种方法只能实现较低的肝脏和肝脏肿瘤分割精度。基于图的方法可以通过简单地标记前景和背景来实现肝脏分割，并且它们不需要迭代操作。但分割结果很容易受到标记结果的影响，并且要求高分辨率图像具有较高的计算成本。基于轮廓的肝脏分割或肝脏肿瘤分割可以利用曲线或形状演变提供更好的分割结果。然而利用这些算法精确提取肝脏和肝脏肿瘤是很困难的。

相比于传统肝脏分割方法，深度学习方法能够充分利用大量训练样本的数据多样性，使得肝脏及肝脏肿瘤分割结果优于传统方法。全卷积神经网络(Fully ConvolutionalNetworks,FCN)是一种经典的端到端深度学习网络，该网络通常采用多级编码器-解码器结构，并且编码器和解码器通常由大量标准卷积层与反卷积层组成。Olaf等人提出的U-Net网络架构是近年来基于编解码的医学图像分割领域中最流行的网络。Gu等人将通过ImageNet进行预训练的ResNet作为U-Net网络中的编码器进行医学图像分割，取得了较高的分割精度。为了进一步利用特征图中可能有用的信息，Alom等人提出的R2U-Net引入了循环卷积，能够多次使用同一层提取特征。Zhou等人提出的UNet++在U-Net中使用不同的深度的连接代替远程连接，这样避免了低级和高级特征的粗略融合。改进U-Net的另一种思路是在编码器和解码器之间添加注意力机制，以关注感兴趣的区域。Oktay等人提出Attention U-Net中注意力模块通过对空间位置的特征加权，捕获空间注意力。Chen等人提出的FED-Net用于自动肝脏病变分割，使用SE-block捕获通道注意力。Fan等人提出MA-Net，网络设计了两个注意力模块分别捕获全局中的空间和通道注意力。为了从CT数据中提取到时间信息，Cicek和Milletari等人分别提出了基于3D-CNN的3D U-Net和V-Net。