[发明专利]一种局灶性病变征象描述指导的肝核磁影像序列生成方法

权利要求书

1.一种局灶性病变征象描述指导的肝核磁影像序列生成方法，其特征在于：该方法包括以下步骤：

步骤1，采集肝脏部位MRI的T1WI扫描序列并进行相应的征象描述；

步骤2，对采集的MRI数据与对应征象描述进行处理，制作一个医学影像数据集；

步骤3，训练能够处理中文医学征象描述的循环神经网络；

步骤4，构建多阶段生成式的生成对抗网络和自注意力模块和多头注意力模块；

步骤4.1，将征象描述通过预训练好的循环神经网络转化为句子级向量，将其和随机噪声拼接并进行维度转化，对转化后得到的特征图进行多次上采样操作提高空间维度；

步骤4.2，设计自注意力模块，对特征图上每一个像素点计算同一通道下其他所有位置的像素点对当前像素点的影响；

步骤4.3，设计多头注意力模块，计算每一个征象描述词汇对特征图上每一个像素点的影响；

步骤4.4，将经过自注意力模块和多头注意力模块的特征图进行卷积和上采样操作，不断增大特征图的空间维度。通过多个阶段的生成得到256×256的肝脏影像；

步骤5，将征象描述输入到已经训练好的生成模型，输出生成的结果。

2.根据权利要求1所述的一种局灶性病变征象描述指导的肝核磁影像序列生成方法，其特征在于：具体包括以下的步骤：

步骤1，采集肝脏部位MRI的T1WI扫描序列并进行相应的征象描述；

临床采集的病例涉及多种肝脏局灶性病变的MRI的T1WI扫描序列，对所采集的每一个病例数据都邀请经验丰富的放射科医生来进行专业性的病灶部位征象描述。

3.根据权利要求1所述的一种局灶性病变征象描述指导的肝核磁影像序列生成方法，其特征在于：步骤2，对采集的MRI数据与对应征象描述进行处理，制作一个医学影像数据集；

对步骤1采集后的MRI的T1WI扫描序列进行预处理，将2D切片图像中病灶区域不明显的影像剔除，其余2D切片影像得到保留并将长宽比调整为1∶1。对于病灶部位征象描述需要通过人工分词的方式将整句话分隔成词汇与词汇的形式。每张2D切片影像和分词后的征象描述作为一对数据，制作出一个相应的肝脏影像数据集；

步骤3，训练能够处理医学征象描述的循环神经网络；

为了处理步骤2所制作数据集中的中文征象描述，所以需要训练一个相应的循环神经网络。首先使用制作的肝脏影像数据集训练一个ResNet34网络，通过基于ResNet34对肝脏2D切片是否含有肿瘤判别这一任务得到一个可以提取医学影像的特征提取网络，之后将征象描述和医学影像分别送入待训练的循环神经网络和已训练好的医学影像特征提取网络ResNet34，这两个网络将各自提取的特征映射到一个公共的语义空间中进行语义对齐，从而建立细粒度的相似性度量。通过这种方式可以获得能处理中文的医学征象描述的循环神经网络，在之后的主体网络训练过程中该循环神经网络是不参与训练的，该循环神经网络只负责将征象描述转化为句子级向量和单词级特征；

步骤4，构建多阶段生成式的生成对抗网络和自注意力模块和多头注意力模块；

步骤4.1，将征象描述通过预训练好的循环神经网络转化为句子级向量，将其和随机噪声拼接并进行维度转化，对转化后得到的特征图进行多次上采样操作提高空间维度；

本发明采用生成对抗网络作为基础的骨干网络，生成对抗网络包含了两个子网络即生成器和判别器，生成器用来生成图像，判别器用来判别图像的真实与否，网络的每个阶段都包含一个生成器和一个判别器，网络整体通过对抗的思想进行训练。首先通过预训练好的循环神经网络将一段中文征象描述转化为句子级向量s∈R^D和单词级特征w＝{w^l|l＝0，...，L-1}∈R^D*L，其中D为词汇编码后的维度，L为词汇的数量，将句子级向量s∈R^D和随机噪声z～N(0，1)拼接后就可以输入到网络的第一阶段，拼接后的向量会先通过一个全连接层增大向量的维度，增大维度后会进行维度转化，转化为图像的维度表示，之后会经历四个上采样操作不断增大特征图的长宽，增大到长宽为64×64时，特征图会分别进行两项操作，其中一项操作会将特征图通过一个卷积层得到64×64的肝脏影像，另一项操作中特征图会依次通过自注意力模块和多头注意力模块，然后再送入网络的第二阶段；

步骤4.2，设计自注意力模块，对特征图上每一个像素点计算同一通道下其他所有位置的像素点对当前像素点的影响；

将第一阶段生成的影像视觉特征图V_i通过一个1×1的卷积层W_k计算出全局位置点的attention map f_i，f_i会通过softmax函数为每个位置的特征赋予一个权值得到影像视觉特征图p_i，然后将p_i与V_i进行矩阵相乘并将其结果通过一个1×1的卷积层W_v得到全局上下文特征图t_i，t_i的特征维度与V_i的特征维度相同，最后采用逐通道逐像素相加操作将全局上下文特征整合到每个位置的特征中；

步骤4.3，设计多头注意力模块，计算每一个征象描述词汇对特征图上每一个像素点的影响；

多头注意力模块需要输入征象描述转化后的单词级特征w＝{w^l|l＝0，...，L-1}∈R^D*L和经过自注意力模块的视觉特征图V_i，其中D为词汇编码后的维度，L为词汇的数量。单词级特征首先通过一个1×1的卷积层U_j进行维度变换，w的维度从D×L变为C×L，C为影像视觉特征图的通道数，然后将维度变化后的单词级特征与影像视觉特征通过注意力机制的计算得到当前空间下的全局上下文特征图。多头注意力模块即在多个空间下计算出多个全局上下文特征图，最后采用逐通道逐像素相加操作将这些视觉特征图综合起来，综合后的视觉特征图会送入网络的第二阶段；

步骤4.4，将经过自注意力模块和多头注意力模块的特征图进行卷积和上采样操作，不断增大特征图的空间维度。通过多个阶段的生成得到256×256的肝脏影像；

将经过自注意力模块和多头注意力模块后的特征图通过上采样增大特征图的长宽，增大到长宽为128×128时，特征图会和第一阶段一样分别进行两项操作，其中一项特征图会通过一个卷积层得到128×128的肝脏影像，另一项中特征图在输入第三阶段前会通过自注意力模块和多头注意力模块。输入到第三阶段的特征图会通过上采样操作，最后生成一个分辨率为256×256的肝脏影像。

4.根据权利要求1所述的一种局灶性病变征象描述指导的肝核磁影像序列生成方法，其特征在于：步骤5，将征象描述输入到已经训练好的生成模型，输出生成的结果；

对于训练后的最优效果的模型，将测试集中的一段征象描述输入其中，便可以准确生成符合征象描述而且肝脏结构完整的医学影像，生成的肝脏影像可以为各种肝脏相关的深度学习模型提供帮助。