[发明专利]一种基于生成式对抗网络的多模态医学图像合成方法

说明书

本发明涉及一种基于生成式对抗网络的多模态医学图像合成方法。所述方法包括：构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。本发明方法用于合成缺失的医学模态图像，能够提高多模态医学图像合成的质量，完整的多模态医学图像有益于医生做出更准确的决策。

技术领域

本发明涉及图像合成技术领域，特别是涉及一种基于生成式对抗网络的多模态医学图像合成方法。

背景技术

随着数据获取手段的多样化，越来越多的领域开始使用多模态数据。如在精准医学领域，脑部核磁共振可以得到T1加权成像(T1)、Gd造影剂成像(T1Gd)、T2加权成像(T2)和液体衰减反转恢复序列成像(T2-FLAIR)四种模态的图像数据，医生可以结合多种模态的医学图像做出更精确的诊断。实际情况却是受限于有限的医疗条件、扫描时间不足以及成本限制的因素，在多模态数据获取过程中可能出现系统误差，甚至部分模态的缺失等情况，最终导致部分模态图像不可用。这些不可用的模态图像可能会导致医生决策出现偏差。

如何利用已有的、完整的模态图像数据对不可用的模态进行合成，已成为计算机视觉和图像处理中的一个重要研究课题。对多模态图像数据中缺失的模态进行补全可以看作是一类特殊的图像转换问题。图像转换指将图像从一个图像域转换到另一个图像域，类似的任务包括风格迁移、语义分割、去模糊、超分辨率等。不同图像域指的是光照条件、面部表情、传感器等之间的各种成像差异。研究人员为研究有效的图像转换算法投入了大量精力，并在基于生成对抗网络的方法上取得了重大进展，例如Pix2Pix。然而，这些方法仅适用于单一模态输入，在模型输入与网络设计上并未考虑多模态场景下其他可用模态中包含的有效信息。CollaGAN(Collaborative Generative Adversarial Networks，协同生成对抗网络)是少数为多模态设计的图像转换模型之一，Dongwook Lee等人针对多模态场景，在CycleGAN的基础上为多模态场景提出多重循环一致性损失，从而实现了从任意多模态输入生成目标模态图像的功能。CollaGAN的缺点在于没有针对模态互补性建模，这使得其不能充分利用输入模型的信息，因此在应用于多模态医学图像合成时合成图像质量较低。

发明内容

本发明的目的是提供一种基于生成式对抗网络的多模态医学图像合成方法，以提高多模态医学图像合成的质量。

为实现上述目的，本发明提供了如下方案：

一种基于生成式对抗网络的多模态医学图像合成方法，包括：

构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；

采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；

将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。

可选地，所述构造模态注意力生成式对抗网络，具体包括：

构造自表示网络；所述自表示网络包括编码器和解码器；

构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。

可选地，所述模态注意力模块中植入的方法具体包括：

获取除目标模态以外的其他模态的医学图像对应的多个特征图；

根据所述多个特征图计算跨模态的通道权重；