[发明专利]CT图像与MRI图像的跨模态转换方法和装置

说明书

本发明公开了CT图像与MRI图像的跨模态转换方法，包括：获取样本图像对；基于Cycle‑GAN构建学习系统，其中，两个生成网络根据输入图像生成第一结构特征、第一灰度特征以及生成图像，两个判别网络用于判断CT图像和MRI图像的真伪；构建学习系统的损失函数，包括生成网络的损失函数和判别网络的损失函数，其中，生成网络的损失函数包括基于结构特征的结构损失、基于生成图像的重建损失以及基于判别网络的判别结果的对抗损失；判别网络的损失函数包括对CT图像的判别损失和对MRI图像的判别损失；样本图像对和损失函数对学习系统进行参数优化以得到两个生成模型；利用两个生成模型实现CT图像与MRI图像之间转换。

技术领域

本发明属于医疗图像处理技术领域，具体涉及CT图像与MRI图像的跨模态转换方法和装置。

背景技术

核磁共振MRI图像由于其优越的软组织分辨率，为医生提供了大量信息，且对患者无电离辐射伤害等特点，在临床诊断方面具有突出的优势。但是，MRI成像设备昂贵，扫描成本高，扫描时间长，临床中难以广泛获取并利用MRI图像。

计算机断层扫描CT图像具有扫描时间短，成本较低，可广泛获取等优势，在临床中被广泛使用，尤其在为病人制定放疗计划时CT图像尤为重要。但是，CT图像软组织分辨率较差，难以为临床中诊断提供丰富的组织信息。

为了充分发挥CT图像和MRI图像的优势，同时避免临床中使用CT图像和MRI图像面临的困境，研究人员提出采用图像生成模型学习患者同一解剖位置下CT图像和MRI图像分布之间映射关系，实现CT图像和MRI图像的模态转换，达到通过病人的CT图像自动生成与之对应的MRI图像和通过MRI图像自动生成与之对应的CT图像的效果。

针对CT数据和MRI数据不成对的问题，研究人员提出使用循环一致性生成对抗网络Cycle-GAN，避免了对训练数据成对且匹配这一要求，大大缓解了对训练数据集的限制，扩大了可用于生成网络训练的数据量。

利用Cycle-GAN网络结构进行CT与MRI图像模态转换时，在未成对等CT和MRI数据集上，同时训练由CT图像生成对应MRI图像的生成器和MRI图像生成对应CT图像的生成器，实现CT图像和MRI图像的自动模态转换，以应对更多临床中的需求。

为了弥补未成对训练数据集造成的生成图像监督信息不足，导致的生成图像的质量有限的问题，即为了保证图像生成过程中目标等重要区域的完整性和一致性，研究人员在图像生成框架的基础上添加了分割分支，并将输入图像的分割损失和生成图像的分割损失引入网络损失函数中，从而在网络优化过程中，增强对目标等核心区域的监督，防止在图像生成过程中出现目标区域丢失的情况，实现更高质量的生成。

然而上述基于Cycle-GAN网络结构的图像生成方法，添加分割分支从而加强对生成结果的监督，需要训练数据集有额外的像素级的标注信息，且增加了网络的复杂程度，加大了网络训练的难度，在网络训练过程中难以有效的平衡生成网络、判别网络和分割网络等，实现理想的生成效果。

发明内容

针对上述图像生成技术的不足，本发明的发明目的是提供CT图像与MRI图像的跨模态转换方法和装置，以实现临床对于不同模态影像的需求。

为实现上述发明目的，本发明实施例提供的CT图像与MRI图像的跨模态转换方法，包括以下步骤：

获取针对同一目标的CT图像与MRI图像，并构建CT图像集和MRI图像集；

基于Cycle-GAN构建学习系统，其中，第一生成网络用于根据CT图像生成第一结构特征、第一灰度特征以及MRI图像，第二生成网络用于根据MRI图像生成第二结构特征、第二灰度特征以及CT图像，第一判别网络用于判断CT图像的真伪、第二判别网络用于判断MRI图像的真伪；