[发明专利]一种基于双域U-net判别器的生成对抗低剂量CT去噪方法

权利要求书

1.一种基于双域U-net判别器的生成对抗低剂量CT去噪方法，其特征在于，以U-Net判别器替代GAN框架中的鉴别器，来学习正常剂量图像和生成图像在图像域和生成域之间的全局和局部差异；该U-Net判别器通过U-Net的全局输出向去噪网络提供逐像素反馈，通过中间层在语义层面使去噪网络关注全局结构；除了图像域中的对抗训练，还在图像梯度域中应用基于U-Net的判别器，以减轻低剂量CT中由于金属引起的伪影，并增强去噪CT图像的边缘；此外，还使用CutMix技术，使基于U-Net的判别器的逐像素输出，为放射科医生提供置信度图；具体步骤如下：

(1)针对低剂量CT存在的大量噪声，采用生成器对抗网络对低剂量CT去噪，以提高图像质量；

所述去噪的过程是学习一个生成器模型G的过程，该生成器模型G映射一张大小为w×h的低剂量CT图像I_LD到它的正常剂量CT对应物I_ND，来去除低剂量CT中的噪声图像，I_LD∈R^w×h，I_ND∈R^w×h；R^w×h表示w×h实数空间，w和h分别表示图像的宽和高；

生成器模型G作为去噪模型，将低剂量CT图像作为输入，I_den是去噪后的图像；整个去噪过程建模为：

I_den＝G(I_LD)≈I_ND； (1)

经过步骤(1)去噪处理的低剂量CT图像，分别进入图像域分支和梯度域分支，作进一步处理；

(2)在图像域分支，使用U-Net判别器替换掉传统的分类鉴别器，来捕捉全局和局部图像差异；

所述U-Net判别器用于同时维护全局和局部数据表示，即用于同时实现全局和局部的真假判断；具体地，使用D^img来表示图像域中U-Net判别器；D^img中的编码器遵循传统鉴别器，使用多个卷积层逐步对输入进行下采样，捕获全局结构上下文；D^img中的解码器使用来自编码器的跳过连接执行渐进式上采样；以相反的顺序，进一步增强判别器绘制真假样本局部细节的能力；判别器损失根据和的输出计算；具体使用最小二乘GAN作为鉴别器的损失函数，损失函数表达式为：

其中，1是最小二乘GAN的决策边界，I_den为去噪后图像，I_ND为正常剂量图像，为图像域判别器的编码器，为图像域判别器的解码器；E表示期望；为判别器图像域的损失函数；

(3)增加一个额外的梯度域分支，用于去除伪影，使边缘更清晰；

首先使用索贝尔算子估计梯度，作为一个额外的梯度分支，和图像域分支同时存在；类似于图像域分支中的U-Net判别器结构，用D^grd表示梯度域中的判别器,定义表示梯度域中的判别器损失；

D^grd中的编码器遵循传统鉴别器，使用多个卷积层逐步对输入进行下采样，捕获全局结构上下文；D^grd中的解码器使用来自编码器的跳过连接执行渐进式上采样；以相反的顺序，进一步增强判别器绘制真假样本局部细节的能力；此外，判别器损失根据和的输出计算；损失函数表达式为：

其中，1是最小二乘GAN的决策边界，I_den为去噪后图像，I_ND为正常剂量图像，为梯度域判别器的编码器，为图像域判别器的解码器；E表示期望；为判别器梯度域的损失函数,为索贝尔算子，用来获取影像梯度信息；

于是，双域的判别器损失函数为：

(4)随着训练的进行，判别器D^img在识别真实和假样本之间局部差异方面的能力下降，这会意外地损害去噪性能；此外，判别器需要关注全局级别的结构变化和像素级别的局部细节；为此，进一步采用CutMix增强技术对判别器进行正则化，使判别器能够学习真假样本之间的内在差异，即CutMix增强技术是从生成图像中切出一块，并将其粘贴到另一个图像中，从而生成新的训练图像；具体表达如下：

其中，M∈{0,1}^w×h，是控制如何混合正常剂量CT和去噪图像的二进制掩码，表示元素乘法，I_ND为正常剂量图像，I_den为去噪后的图像，I_mix表示二者通过M混合后的影像；

CutMix的正则化损失的表达式为：

其中，CutMix中使用的M也是的标签；

此外，为了惩罚判别器的输出与CutMix操作后的像素预测一致，进一步引入另一个一致性损失对判别器进行正则化，该一致性损失的表达式为：

其中，||·||_F代表Frobenius范数,||·||²表示L₂范数；

这两种“损失”为选择性使用；

(5)最后，遵循GAN框架，训练生成器，并进行低剂量CT去噪，整个框架包含基于U-Net的判别器同时关注全局结构和局部细节，额外的梯度分支鼓励更好的边界和细节。

2.根据权利要求1所述的基于双域U-net判别器的生成对抗低剂量CT去噪方法，其特征在于，使用RED-CNN作为生成器，该生成器包括堆叠的10个卷积层，每个层都有32个卷积和ReLU激活函数；

图像域和梯度域中的两个判别器，每个判别器都遵循U-Net架构；具体来说，编码器或有6个下采样残差块，卷积数量分别为：64,128,256,512,512,512；在或的底部，使用全连接层输出全局置信度分数；类似地，解码器或以相反的顺序使用相同数量的残差块来处理双线性上采样的特征和相同分辨率的残差，然后是1×1卷积层以输出逐像素置信度图；两个独立的判别器的结构一致；

在正常剂量CT图像和去噪CT图像之间采用对抗损失、像素级损失；其中，对抗损失是固定双域判别器而得到的损失函数，表达式为：

像素级损失包括每个分支的像素损失L_img和梯度损失L_grd；这两个损失表达式为：

最终的损失函数为以上损失函数的加权，即生成器的优化损失表达式为：

L_G＝λ_advL_adv+λ_imgL_img+λ_grdL_grd； (11)

其中，λ_adv,λ_img,λ_grd为超参数，控制各损失函数之间的权重；

双域判别器的总损失函数为：

L_D＝L_Ddud+L_reg+L_con； (12)

训练过程生成器和判别器为交替训练。