[发明专利]基于长短期记忆自注意力模型的三维医学图像分割方法及系统

说明书

本发明属于医学图像处理中的图像分割领域，公开了一种基于长短期记忆自注意力模型的三维医学图像分割方法及系统，其中三维医学图像分割方法，能够针对医学图像中目标区域影像进行分割，包括以下步骤：(1)建立训练集样本；(2)对待分割的原始三维医学图像进行处理，得到待分割样本；(3)构建基于长短期记忆自注意力的三维医学图像分割网络并训练；(4)将待分割样本输入至该网络，即可输出得到待分割样本中目标区域的分割结果。本发明通过综合CNN与Transformer，得到用于三维医学图像中目标区域(如肿瘤等)实时准确分割的新模型，采用类似记忆遗忘与更新的学习策略，尤其有利于提高医学图像中复杂肿瘤的分割精度。

技术领域

本发明属于医学图像处理中的图像分割领域，更具体地，涉及一种基于长短期记忆自注意力模型的三维医学图像分割方法及系统，该方法及系统基于深度学习，尤其可用于对三维医学图像肿瘤区域进行分割。

背景技术

医学图像是重要的病灶信息来源，具有重要价值。以肿瘤为例，恶性肿瘤的发病率和死亡率在全球范围内快速增长，癌症已成为威胁人类健康和生命的重要因素。癌症的早期发现和治疗非常重要。在临床实践中，三维医学图像中肿瘤的分割可以提供肿瘤的测量和定位等信息，对早期诊断有很大的帮助。然而，由于不同个体间肿瘤的纹理和形状存在差异，可能会出现多个肿瘤，且肿瘤的边界模糊，高效准确的肿瘤分割是一项极具挑战性的任务。

三维医学图像肿瘤自动分割对于癌症的早期诊断和治疗具有重要作用，但是传统的分割算法如阈值分割、区域生长和活动轮廓模型等大多是基于边缘和灰度分布的差异，由于肿瘤图像在形态学、纹理和灰度分布等方面存在较大差异，这些传统方法的适应性相对较弱。为此，近年来基于深度学习的图像分割算法备受关注，已经有许多基于CNN的模型用于图像分割。U-Net是目前最常用的网络结构，其特殊的编码器-解码器结构在分割任务中表现出优异的性能。进一步的研究发现，虽然基于卷积的分割模型能够有效地提取局部特征，但不能很好地捕获全局特征，这影响了其分割性能，而最初应用于自然语言处理任务中的Transformer模型可以通过捕获全局图像特征来预测缺失的边缘并减少噪声引起的误差，从而提高分割精度。目前，将Transformer应用于图像处理任务还存在一些缺点。首先Transformer需要大量的训练样本才能获得良好的性能，但在临床应用中很难获得足够的肿瘤图像用于训练。同时Transformer的计算量巨大且与patch数量的平方成正比，这使得其在三维图像分割任务中的训练和应用非常耗时。此外，Transformer缺乏CNN的归纳偏置，如平移不变性和局部性，模型性能进一步受到限制。由于CNN和Transformer分别擅长提取局部特征和全局特征，因此可以将它们以不同的方式结合起来，提高模型在小训练样本上的图像分割性能。一种方法是通过向Transformer添加卷积操作来进一步优化注意力模块，另一种方法是将Transformer和CNN在网络结构上相互组合。

目前CNN和Transformer用于图像分割的组合结构可以分为三种类型。第一种仅使用多层Transformer作为编码器，它的性能与训练样本的数量相关。Transformer的简单叠加虽然可以在一定程度上提高性能，但也会显著增加计算量，性价比不高。第二种结构将Transformer模块插入基于CNN的编码器和解码器之间，用于进一步的特征提取。这种结构只能提取低分辨率的全局特征，不能充分发挥自注意力机制的作用，对网络性能的提升有限。第三种结构同时使用CNN和Transformer进行双分支编码，融合不同分辨率的编码特征来指导解码过程。这种并行的结构不能有效地将两者融合在一起，两个模型的叠加使其具有较高的计算成本。

发明内容