[发明专利]一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法

说明书

本发明公开了一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，涉及深度学习领域，本发明首先对数据集进行数据预处理和数据增广，然后构建网络模型，网络模型包括主干网络、混合上下文感知模块和全局注意力融合模块，图像进入网络模型，先经过主干网络进行编码，然后通过混合上下文感知模块感知全局和局部信息，最后通过注意力融合模块对多模态特征进行融合并输出图像。经过训练好的网络模型后，把待分割的二维磁共振脑瘤图像输入到训练好的模型，输出图像的分割结果。本专利能够训练有效的自动分割MRI脑瘤图像的网络模型，融合多模态特征，提高了分割精度，具有较高的应用价值和临床治疗的应用前景。

技术领域

本发明属于深度学习技术领域，应用于医学图像分割方面，具体涉及一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法。

背景技术

脑瘤分割对神经胶质瘤患者的诊断和预后至关重要。从磁共振图像中分割脑肿瘤是脑肿瘤治疗的一个必要程序，使临床医生能够识别肿瘤的位置、范围和类型。这不仅有助于初步诊断，而且有助于管理和监测治疗进展。鉴于这项任务的重要性，对肿瘤及其亚区域的精确描述通常由经验丰富的神经放射科医生手动完成。这是一个繁琐而耗时的过程，需要大量的时间和专业知识，特别是分割患者肿瘤体积大、图像是多模态的、肿瘤是异质性的图像。标记过程也受到不同标记者之间的不同认知影响，需要对标记和分割解释达成共识，增加了额外的复杂性。

计算机辅助分割算法有可能解决这些缺点，因为它可以降低标记过程的劳动强度，并且在不同的情况下保持一致性。脑肿瘤自动分割最初依赖于使用传统的机器学习方法，如基于atlas、决策森林、条件随机场的方法等。随着深度学习的发展，传统的机器学习方法已经慢慢地被深度神经网络取代。如何更好地优化之前的模型并将其应用到医学图像中来，使其分割的医学图像能更加地准确成了目前研究的重要领域。

研究人员通过使用二维切片和三维体积作为输入来完成脑瘤分割的任务。尽管三维模型自然地利用了大脑解剖学中固有的三维结构信息，但这种模型不一定能产生更好的结果，此外，它们在计算上往往更昂贵，因此在推理过程中速度更慢。基于3D的全体积方法还需要通过大脑体积的预先定义的切片数量作为输入，在实践中，切片的数量因协议而不同，这使得这些模型可能不够通用。

MRI图像有多种模态，分为T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)等模态，每种模态各有特点。单一的模态由于无法充分细分相关区域的肿瘤，常常会导致失败或不足，利用不同的核磁共振成像模态，可以有效弥补上述弱点。多种模态图像信息能够有效互补，可以有效地提升分割的准确性，但是在一定程度上也增加了分割问题的难度，输入的多模态图像信息，增加分割的必要信息，但同时增加大量不必要的信息，因此会加大分割问题的难度。

发明内容

本发明要克服现有技术的上述问题，提出一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，用于从MRI图像中准确分割脑瘤图像。

一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，其特征在于，包含以下步骤：

步骤1)输入数据集；

输入MRI脑瘤图像数据集BraTS2021。脑瘤分割挑战(BraTS)是自2012年开始举办的年度国际比赛。为参与者提供了大量的不同程度的胶质瘤患者的完全注释、多机构、多模态核磁共振图像。BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)四种模态。

输入待分割的多模态二维MRI脑瘤图像。

步骤2)数据预处理和数据增广；