[发明专利]一种基于生成式对抗网络的多模态医学图像合成方法

权利要求书

1.一种基于生成式对抗网络的多模态医学图像合成方法，其特征在于，包括：

构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；

采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；

将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。

2.根据权利要求1所述的方法，其特征在于，所述构造模态注意力生成式对抗网络，具体包括：

构造自表示网络；所述自表示网络包括编码器和解码器；

构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。

3.根据权利要求2所述的方法，其特征在于，所述模态注意力模块中植入的方法具体包括：

获取除目标模态以外的其他模态的医学图像对应的多个特征图；

根据所述多个特征图计算跨模态的通道权重；

根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；

将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图。

4.根据权利要求3所述的方法，其特征在于，所述采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络，具体包括：

将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络；

将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。

5.根据权利要求4所述的方法，其特征在于，所述将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像，具体包括：

将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。

6.一种基于生成式对抗网络的多模态医学图像合成系统，其特征在于，包括：

模态注意力生成式对抗网络构造模块，用于构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；

模态注意力生成式对抗网络训练模块，用于采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；

多模态图像合成模块，用于将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。

7.根据权利要求6所述的系统，其特征在于，所述模态注意力生成式对抗网络构造模块具体包括：

自表示网络构造单元，用于构造自表示网络；所述自表示网络包括编码器和解码器；

图像转换网络构造单元，用于构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。

8.根据权利要求7所述的系统，其特征在于，所述模态注意力模块具体包括：

特征图获取单元，用于获取除目标模态以外的其他模态的医学图像对应的多个特征图；

通道权重计算单元，用于根据所述多个特征图计算跨模态的通道权重；

模态信息互补单元，用于根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；

特征图拼接单元，用于将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图。