[发明专利]一种基于任务驱动的层次注意力网络的MRI图像分类方法

权利要求书

1.一种基于任务驱动的层次注意力网络的MRI图像分类方法，其特征在于包括如下步骤：

步骤1、获取一定数量、且类别已知的MRI图像，对所有类别已知的MRI图像进行预处理，之后将所有预处理之后的MRI图像归一化为统一的大小，形成样本集；

步骤2、将样本集分成训练集、验证集和测试集；

步骤3、构建信息子网络，并利用训练集中的样本对构建的信息子网络进行训练，得到训练完成后的信息子网络；

构建的信息子网络包括信息提取网络和图像块分类网络，其中，信息提取网络为用于分类且以卷积核为1*1*1的卷积层替换掉全局平均池化层和全连接层的3D CNN，通过该信息提取网络输出通道数为1的信息图；图像块分类网络为用于分类的3D CNN；

所述信息子网络训练的具体过程为：

步骤3-1、初始化信息提取网络和图像块分类网络中的网络参数；

步骤3-2、在训练集中任意选择R张MRI图像，并将选取的R张MRI图像输入到初始化的信息提取网络中，得到每张MRI图像所对应的通道数为1的信息图，R为正整数；

步骤3-3、分别提取每张信息图中的K个最高值，并根据3D CNN的映射关系选取出每张信息图中的K个最高值分别在与之对应的MRI图像中的K个L*W*H大小的图像块；其中，K、L、W和H均为正整数；

步骤3-4、将从每张MRI图像中选取出的K个L*W*H大小的图像块输入至初始化的图像块分类网络中，得到从每张MRI图像中选取的K个图像块属于各个类别的分类概率，并根据各个类别的分类概率计算出从每张MRI图像中选取的每个图像块的置信度；

步骤3-5、计算总损失函数L，并根据总损失函数L分别反向更新初始化的信息提取网络和初始化的图像块分类网络中的网络参数，分别得到一次更新后的信息提取网络和图像块分类网络，即得到一次训练后的信息子网络；

L＝L_p-cls+L_cal

其中，L_p-cls为第一损失函数，y_r,k,j是一个指示变量，y_r,k,j＝0或1，当从第r张MRI图像中选取的第k个图像块的第j个类别与该MRI图像的类别相同，则y_r,k,j＝1，反之，则y_r,k,j＝0；c_r,k,j为从第r张MRI图像中选取的第k个图像块属于第j个类别的分类概率；N为类别总数；L_cal为第二损失函数，s_r,k为第r张信息图中的第k个最高值，d_r,k为从第r张MRI图像中选取的第k个图像块的置信度；

步骤3-6、重复步骤3-2至步骤3-5，依次从训练集中选择不同的MRI图像，将选中的多张MRI图像输入到一次训练后的信息子网络中，不断更新信息子网络中的参数，得到训练完成后的信息子网络；

步骤4、将验证集中的MRI图像送入步骤3训练完成后的信息子网络中，筛选并保存具有最优网络参数的信息子网络；

步骤5、构建层次注意力子网络，并利用训练集中的样本对构建的层次注意力子网络进行训练，得到训练完成后的层次注意力子网络；

构建的层次注意力子网络是以3D CNN为主干的网络结构，另外，该3D CNN的卷积模块后面还设有注意力模块，注意力模块以信息图为输入，注意力模块的输出F′的计算公式为：

F′＝A⊙F，其中A＝TI(M)

其中，F为3D CNN中某个卷积模块输出的特征图，M为信息图，TI()为三线性插值函数，使A与F的矩阵空间大小相同；⊙为点积运算；

通过上述计算公式得到的F′即作为3D CNN中输出特征图F的卷积模块下一层的输入；

所述层次注意力子网络训练的具体过程为：

步骤5-1、初始化层次注意力子网络中的网络参数；

步骤5-2、将训练集中的Q张MRI图像经过步骤4中所保存的信息子网络得到Q张信息图，并将Q张信息图作为注意力模块的输入，同时将Q张MRI图像输入到设置有注意力模块的层次注意力子网络中，Q为正整数；

步骤5-3、计算层次注意力子网络的损失函数L_a-cls，并根据该损失函数反向更新层次注意力子网络中的网络参数，得到一次更新后的层次注意力子网络；

其中，x_q,j是一个指示变量，x_q,j＝0或1，当第q张MRI图像的第j个类别与该MRI图像的类别相同，则x_q,j＝1，反之，则x_q,j＝0；I_q为输入到层次注意力子网络中的第q张MRI图像，M_q为MRI图像I_q经过信息子网络后得到的信息图，c′_q,j为第q张MRI图像I_q和信息图M_q输入到层次注意力子网络中被预测为第j个类别的概率；

步骤5-4、依次从训练集中选择不同的MRI图像，重复步骤5-2至步骤5-3，不断更新层次注意力子网络中的参数，得到训练完成后的层次注意力子网络；

步骤6、将验证集中的MRI图像经过步骤4中所保存的信息子网络得到验证集中每张MRI图像对应的信息图，并将这些信息图作为步骤5训练完成后的层次注意力子网络中注意力模块的输入，同时将验证集中的MRI图像送入步骤5训练完成后的层次注意力子网络中，筛选并保存具有最优网络参数的层次注意力子网络；

步骤7、获取待分类MRI图像的类别：具体过程为：在测试集中任意选择一张MRI图像，记为待分类MRI图像I’，将该待分类MRI图像I’输入到步骤4得到的信息子网络中得到信息图M’，之后将该信息图M’和待分类MRI图像I’输入到步骤6中得到的层次注意力子网络中得到该待分类MRI图像I’属于每一类别的概率，将概率最高的值对应的类别作为该待分类MRI图像的类别。