[发明专利]基于目标感知生成对抗网络的多模态医学图像翻译方法

说明书

本发明公开了基于目标感知生成对抗网络的多模态医学图像翻译方法。所述方法具体如下：给定来自源模态的整体图像及其对应的目标区域标签，通过二值化操作获得一个只包含目标区域的目标区域图像；构建基于目标感知的生成对抗网络框架；使用后向传播算法和自适应矩估计优化算法训练生成对抗网络框架；给定任意目标模态，采用训练完成的生成器，将来自源模态的任何输入整体图像转换为目标模态对应的翻译后的整体图像，并翻译来自源模态的目标区域图像到相应的目标模态对应的翻译后的局部区域图像。本发明的生成器同时学习整体翻译和局部翻译两条映射路径，再配合提出的交叉一致性损失函数来进一步优化，最终生成整体和局部均高质量的多模态医学图像。

技术领域

本发明涉及计算机视觉与生成对抗学习技术领域，涉及图像重构领域，具体涉及基于目标感知生成对抗网络的多模态医学图像翻译方法。

背景技术

不同医学成像方式/协议之间的图像翻译是一个活跃的研究领域，放射肿瘤学和放射学对其有极大的临床兴趣。图像翻译的目的在于缓解实际临床下无法直接采集到成对模态数据的问题，减少花费额外的时间/劳动力/费用，避免电离辐射暴露或避免引入不同模态之间的图像配准带来的不确定性，从而通过绕过或替换某些成像程序来促进特定的临床工作流程。图像翻译的好处已引起人们对许多潜在临床应用的关注，并且在进一步的医学图像分析中，其对于后续的临床诊断辅助治疗也带来很大帮助。

最近的研究中，Zhang等人于CVPR 2018会议上提出一个通用跨模态医学图像翻译方法，即《Translating and segmenting multimodal medical volumes with cycle-andshape-consistency generative adversarial network》，主要解决跨模态翻译中常见组织结构几何变形问题，并验证了合成的医学图像数据可以用于数据增强，来帮助提升有限训练样本下算法的分割效果。

然而基于生成对抗学习的图像翻译方法应用在医学图像领域仍有以下问题亟待解决：1、目前大部分研究只针对跨模态翻译或基于成对的多模态样本下的多模态翻译，前者在扩展到多模态翻译应用上有明显的局限性，后者则未能反映实际的临床条件；2、目前大部分研究也主要考虑到全图的翻译效果而忽视了局部目标区域(器官、病灶等等)的表现，导致其局部呈现模糊、扭曲、甚至添加了不合理的解剖特征。

发明内容

在分析以上问题的基础上，围绕多模态医学图像翻译问题进行研究，本次发明旨在探索利用非成对的训练样本和目标区域标签的先验信息，研究基于目标感知的生成对抗网络，改善图像翻译在局部目标区域出现的内容失真问题的可行性，完成多模态医学图像翻译任务。

本发明的目的至少通过如下技术方案之一实现。

基于目标感知生成对抗网络的多模态医学图像翻译方法，包括以下步骤：

S1、给定来自源模态s的整体图像x_s及其对应的目标区域标签y，通过二值化操作y·x_s获得一个只包含目标区域的目标区域图像r_s；

S2、构建基于目标感知的生成对抗网络框架，生成对抗网络框架包括一个生成器G、第一判别器D_x和第二判别器D_r；

S3、分别构建生成器G、第一判别器D_x和第二判别器D_r的损失函数；

S4、使用后向传播算法和自适应矩估计(adaptive moment estimation，ADAM)优化算法训练生成对抗网络框架，得到训练完成的生成器G；