[发明专利]基于由粗到精学习的半监督多模态核磁共振影像合成方法

权利要求书

1.一种基于由粗到精学习的半监督多模态核磁共振影像合成方法，其特征在于，包括：

利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，利用所述大部分不成对数据模拟现实中大部分有模态缺失的数据，利用所述少部分成对数据模拟现实中少部分完整多模态数据；

构造包括生成网络和增强网络的半监督多模态MRI合成模型，利用所述全部数据对所述生成网络进行训练，得到训练好的生成网络，利用所述少部分成对数据对所述增强网络进行训练，得到训练好的增强网络；

将源模态的影像输入训练好的生成网络中，利用生成网络学习得的跨模态分布映射关系将源模态的影像映射为对应的目标模态的粗合成影像，将所述目标模态的粗合成影像输入训练好的增强网络，所述增强网络对所述目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像。

2.根据权利要求1所述的方法，其特征在于，所述的利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，包括：

获取所有病例的T1、T2模态数据，把每个病例的各个模态的体数据线性归一化到[-1，1]的范围；

将每个病例的各个模态的体数据的尺寸由155*240*240裁剪为155*192*168；

构造训练数据时分别保留100％的病例，50％病例，20％病例，10％病例和仅有一个病例的完整成对多模态数据，同时对于其余的病例，破坏这些病例内部的多模态数据配准性，将每个病例的一种模态的体数据与另一个病例的另一种模态的体数据结合起来形成不成对数据；

将每对体数据都划分为155个切片，逐切片输入网络中进行训练，以适应slice-by-slice的影像合成方式。

3.根据权利要求1所述的方法，其特征在于，所述的构造包括生成网络和增强网络的MRI合成模型，利用所述全部数据对所述生成网络进行训练，得到训练好的生成网络，包括：

采用CycleGAN网络作为MRI合成模型的生成网络，该生成网络包括两个模态的生成器和判别器，所述生成器利用源域数据生成与目标域中的数据相似的数据，所述判别器将生成的目标域数据与真实数据区分开来，所述生成网络的损失函数包括对抗损失和循环一致损失，利用所述全部数据对所述生成网络进行训练，通过在训练过程中迭代降低对抗损失和循环一致损数来优化生成网络的参数，利用生成网络从全部的不成对数据和成对数据中学习不同模态之间的跨模态分布映射关系：

假设生成网络CycleGAN中的两个生成器G和F分别学习的是从A模态到B模态的分布映射和从B模态到A模态的分布映射，相应的判别器分别为D_A和D_B，负责鉴别相应的两个模态数据的真假，令MR影像的T1模态为A模态，令T2模态为B模态；

对于来自A模态和B模态的数据采用对抗损失来训练两个映射方向的生成器和相应的判别器，从A模态到B模态方向映射的对抗损失表示为：

从B模态到A模态方向映射的对抗损失表示为：

循环一致损失表示为：

总体损失函数为：

优化目标函数为：

G，F分别为生成网络中对应A、B模态的生成器，D_A和D_B分别为对应的判别器。argminmax指的是：更新G和D_B、F和D_A的网络参数使得D_B和D_A使损失函数尽可能大而G和F使损失函数尽可能小。

4.根据权利要求3所述的方法，其特征在于，所述的将所述目标模态的粗合成影像输入训练好的增强网络，所述增强网络对所述目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像，包括：

对于来自A模态和B模态的成对数据分别采用生成网络中的两个生成器G和F先初步合成参考图像G(a_P)和F(b_P)，再用两个去噪自编码器进行两个方向上粗合成图像的精细化增强；在增强网络中试验了不同数量的残差块对合成性能的影响，综合考虑生成结果和计算开销来确定增强网络结构中的残差块数量。