[发明专利]一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法

权利要求书

1.一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，其特征在于，包含以下步骤：

步骤1)输入数据集；

输入MRI脑瘤图像数据集BraTS2021；BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)四种模态；

输入待分割的二维多模态MRI脑瘤图像；

步骤2)数据增广和数据预处理；

通过对数据集BraTS2021中的三维图像的冠状面进行切片，每个切片要同时获得它其他三种模态的对应位置的切片和分割切片，把切片图像改为4个通道,按顺序分别对应T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)，得到的二维图像数据集记为2DBraTS2021；通过对数据集2DBraTS2021中的图像进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高深度神经网络模型的泛化能力，最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响；

步骤3)构建网络模型；

构建分割模型BraTSegNet；分割模型包括一个主干网络和两个关键模块组成，即ResNet主干网络、混合上下文感知(HCA，Hybrid Context-Aware)模块和全局注意融合(DAF,Dual Attention Fusion)模块；主干网络从输入的CT图像中提取多层特征；然后，HCA模块对特征进行增强，然后将其输入DAF模块来预测分割图；

首先从主干网络的不同层级中提取多层次特征；然后，低级和高级特征都被输入HCA模块，通过扩大接受域进行增强；需要注意的是，低/高级特征表示更接近主干网络的开始/结束(即输入/输出)的特征；然后，使用三个DAF模块来进行特征融合来预测分割图；此外采用深度监督策略，对三个DAF模块的输出和最后一个HCA模块的输出进行监督；使用预训练过的ResNet50的前四层作为BraTSegNet的编码器；特征图的大小减半，两个相邻的残差块(RB)之间的通道数量增加了一倍；

3.1.构建HCA模块：

HCA模块利用扩大的接受域利用更多的信息特征；一个HCA模块由4个并行分支组成，每个分支都由不同的卷积层组成；特别是，第三个分支利用了串联的不同扩张率的空洞卷积层，即混合空洞卷积，提供了来自不同接受域的丰富的多尺度特征；在融合了多尺度特征后，我们获得了更多的信息特征，提供了丰富的图像信息特征；数学上，HCA模块定义为

f_HCA＝ReLU(Conv_3x3(Cat(Conv_1×1(f_RB)，Conv_3×3(f_RB)，f_HDC))+Conv_1×1(f_RB)) (1)

f_HDC＝f₃(f₂(f₁(f_RB))) (2)

其中f_i表示扩张率为i、卷积核为3×3的空洞卷积单元；Cat(x)表示连接操作；Conv_1×1(x)和Conv_3×3(x)分别表示卷积核大小为1×1和3×3的卷积单元；f_RB表示从主干中提取的特征；

3.2.构建DAF模块：

为了融合HCA模块的丰富特征，提出了一种新的DAF模块；DAF模块利用高级特征生成的注意力权重图来增强低级特征，然后将增强的低级特征与高级特征融合；我们同时考虑了通道注意力和空间注意力机制，把通道注意力(CA，Channel Attention)模块和空间注意力(Spatial Attention)模块串联起来，在CA模块中使用平均池，在SA模块中使用最大池；高级特征经过CA模块和SA模块生成注意力权重图，然后增强低级特征；由经过上采样的高级特征和增强的低级特征的总和作为融合特征；数学上，将DAF模块定义为：

和代表第k级(低级)和第k+1级(高级)HCA模块提供的特征，k＝1，2，3；符号*表示哈达玛积，即元素乘法；Deconv_4×4(x)表示核大小为4×4的反卷积操作，它扩大了特征图的大小；W_CA是特征经过CA模块后的注意权重矩阵，W_SA(x)是SA模块的操作；ArgPool(x)表示平均池化操作，MaxPool(x)表示最大池化操作；σ(x)表示Sigmoid激活函数；

3.3构建损失函数；

采用深度监督策略来设计损失函数；具体来说，在每个DAF模块和最后一个HCA模块中添加了监督，共4个，允许更好的梯度流和更有效的网络训练；对于每个监督，考虑两个损失，即二元交叉熵(BCE，Binary cross entropy)损失和骰子(Dice)损失；因此，总体损失被设计为

Loss＝L_BCE+L_Dice (6)

步骤4)训练策略；

将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集；采用随机初始化和Adam优化算法；设置BatchSize(一次训练所选取的样本数)、epoch(表示回合的意思，训练完所有的数据表示一回合)和合适的初始学习率和每次更新时学习率下降的值；BraTSegNet网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新；训练迭代过程中利用步骤3.3所述损失函数进行参数的更新；

根据设置好的训练策略对BraTSegNet网络模型进行训练；首先将ImageNet上预训练的ResNet块参数加载到BraTSegNet网络模型对应的残差块中；然后，使用2DBraTS2021数据集对BraTSegNet网络模型进行训练；训练分割出整个肿瘤(WT:whole tumor)、肿瘤核心(TC:tumor core)和增强肿瘤区域(ET,enhancing tumor)；

步骤5)评估指标；

评估指标如下所示：

骰子相似性系数(DSC)：DSC用于测量预测的脑瘤区域与事实脑瘤区域之间的相似性；DSC定义如下：

其中V_S代表经过模型分割后的数据集，V_T代表事实的分割数据；|x|表示基数计算的运算，它提供了一个集合中的元素的数量；根据此公式分别计算整个肿瘤(WT:whole tumor)、肿瘤核心(TC:tumor core)和增强肿瘤区域(ET,enhancing tumor)的骰子相似性系数；

步骤6)使用已训练好的网络模型；

保存已经训练好的网络模型，对待分割的二维多模态MRI脑瘤图像进行语义分割，最后得到已分割图像。