[发明专利]基于模块化GAN的多模态MRI与多模态CT的转换方法、系统及介质

摘要

本发明公开了一种基于模块化GAN的多模态MRI与多模态CT的转换方法、系统及介质，本发明转换方法包括根据所需执行的任务类型，选择GAN网络中训练好的模块来进行CT图‑CT图模态转换、CT图‑MRI图模态转换、MRI图‑MRI图模态转换、MRI图‑CT图模态转换、CT图‑MRI病灶任务转换、MRI图‑CT病灶任务。本发明考虑到MRI和CT内部子模态十分相似但MRI与CT两个模态又有巨大差异的情况，提出了一种采用模块化的条件GAN的转换方法，本发明可采用无监督学习方法，训练数据无需配准，在无需训练多个GAN的情况下能便利高校的实现单模态转换生成配准的多模态MRI和CT图。

主权项

1.一种基于模块化GAN的多模态MRI与多模态CT的转换方法，其特征在于实施步骤包括：/n1)判断需要执行的任务类型，若该任务为CT图-CT图模态转换则跳转执行步骤2)，为CT图-MRI图模态转换则跳转执行步骤3)，为MRI图-MRI图模态转换则跳转执行步骤4)，为MRI图-CT图模态转换则跳转执行步骤5)，为CT图-MRI病灶任务转换则跳转执行步骤6)，为MRI图-CT病灶任务转换则跳转执行步骤7)；/n2)将完成训练后的GAN网络中的CT模态编码器与CT模态解码器组合可以得到一个CT内部多模态转换器，通过CT内部多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成CT图；退出；/n3)将完成训练后的GAN网络中的CT模态编码器与MRI模态解码器组合可以得到一个CT-MRI多模态转换器，通过CT-MRI多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成MRI图；退出；/n4)将完成训练后的GAN网络中的MRI模态编码器与MRI模态解码器组合可以得到一个MRI内部多模态转换器，通过MRI内部多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成MRI图；退出；/n5)将完成训练后的GAN网络中的MRI模态编码器与CT模态解码器组合可以得到一个MRI-CT多模态转换器，通过MRI-CT多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成CT图；退出；/n6)将完成训练后的GAN网络中的CT模态编码器与MRI病灶任务解码器组合即可得到一个MRI病灶任务处理器，通过MRI病灶任务处理器将输入的任意模态的CT图通转换生成MRI病灶任务；退出；/n7)将完成训练后的GAN网络中的MRI模态编码器与CT病灶任务解码器组合即可得到一个CT病灶任务处理器，通过CT病灶任务处理器将输入的任意模态的MRI图通转换生成CT病灶任务。/n