[发明专利]基于目标感知生成对抗网络的多模态医学图像翻译方法

权利要求书

1.基于目标感知生成对抗网络的多模态医学图像翻译方法，其特征在于，包括以下步骤：

S1、给定来自源模态s的整体图像x_s及其对应的目标区域标签y，通过二值化操作y·x_s获得一个只包含目标区域的目标区域图像r_s；

S2、构建基于目标感知的生成对抗网络框架，生成对抗网络框架包括一个生成器G、第一判别器D_x和第二判别器D_r；

S3、分别构建生成器G、第一判别器D_x和第二判别器D_r的损失函数；

S4、使用后向传播算法和自适应矩估计优化算法训练生成对抗网络框架，得到训练完成的生成器G；

S5、给定任意目标模态t，采用训练完成的生成器G，将来自源模态s的任何输入整体图像x_s转换为目标模态t对应的翻译后的整体图像x_t，并翻译来自源模态s的目标区域图像r_s到相应的目标模态t对应的翻译后的局部区域图像r_t，用公式表示为G(x_s,r_s,t)→(x_t,r_t)。

2.根据权利要求1所述的基于目标感知生成对抗网络的多模态医学图像翻译方法，其特征在于：步骤S2中，生成器G用于生成翻译模态后的整体图像和局部图像，同时把生成的整体图像和局部图像还原回原始输入图像，第一判别器D_x和第二判别器D_r分别用于判别输入的整体图像和局部图像分别属于什么模态以及是否像真实图像。

3.根据权利要求2所述的基于目标感知生成对抗网络的多模态医学图像翻译方法，其特征在于：生成器G为双输入输出流生成器，包括一个特征共享层和两对编码器/解码器；

给定目标模态t，生成器G中，一个输入输出流中，结合特征共享层，一对编码器/解码器将输入的来自源模态s的整体图像x_s转换为目标模态t对应的翻译后的整体图像x_t；另一个输入输出流中，结合特征共享层，另一对编码器/解码器将输入的目标区域图像r_s转换为目标模态t对应的翻译后的局部区域图像r_t。

4.根据权利要求2所述的基于目标感知生成对抗网络的多模态医学图像翻译方法，其特征在于：第一判别器D_x和第二判别器D_r的主干网络使用PatchGAN思想的架构，其中，第一判别器D_x以翻译后的整体图像x_t为输入，输出翻译后的整体图像x_t的模态分类结果和真实性结果；第二判别器D_r以翻译后的局部区域图像r_t为输入，输出翻译后的局部区域图像r_t的模态分类结果和真实性结果。

5.根据权利要求1所述的基于目标感知生成对抗网络的多模态医学图像翻译方法，其特征在于：步骤S3中采用对抗损失函数和域分类损失函数作为生成器G、第一判别器D_x和第二判别器D_r的公共损失函数，采用循环一致性损失函数和交叉一致性损失函数作为生成器G的额外损失函数，对抗损失函数用于约束第一判别器D_x和第二判别器D_r判别输入的图像是否真实的误差，域分类损失函数用于约束第一判别器D_x和第二判别器D_r对输入的图像进行模态分类的误差，循环一致性损失函数用于约束模态翻译图像重构的误差，交叉一致性损失函数用于约束整体图像翻译的目标区域是否接近目标图像生成的误差。