[发明专利]一种基于残差图像条件生成对抗网络的比特深度增强方法

说明书

本发明公开了一种基于残差图像条件生成对抗网络的比特深度增强方法，包括：将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；将内容一致损失和对抗损失之和作为总的损失函数；通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。

技术领域

本发明涉及比特深度增强领域，尤其涉及一种基于残差图像条件生成对抗网络的比特深度增强方法。

背景技术

随着科学技术的发展，电子产品迅速发展，人们对显示器的需求不断增长，以提供高质量的可视化，这就需要更多位数表示每个像素。然而，由于大多数现有图像和视频具有低比特深度(LBD)，为了适应这种差距，最经济的解决方案是低比特深度到高比特深度的增强显示，也就是将LBD图像转换为视觉上令人愉悦的高比特深度(HBD)图像，这实质上是去量化的过程。

10位(即1,024色)和16位(即65,536色)监视器已被广泛用于各个专业领域。例如，在医学图像可视化方面，HBD和高分辨率监控器至关重要，因为需要清晰，明确地呈现复杂的细节，所以HBD数据和高分辨率监控器至关重要。传统方法(例如零填充或位复制)会引入伪轮廓伪影。有的方法使用过滤或插值方法，但是仅利用有限的相邻像素的信息，不能彻底消除伪轮廓。需要注意的是，逆色调映射方法^[1][2]无法解决比特深度增强任务。这是因为逆色调映射的目的是使局部最小最大区域中的细节产生幻觉，而局部最小最大区域会由于相机传感器的过度或者不足而失真，而比特深度增强的目的是消除由线性量化导致的颜色不一致。

已经有许多比特增强算法，比如逐像素解量化算法，包括零填充(ZP)，理想增益乘法(MIG)，位复制(BR)^[3]和基于最小风险的分类(MRC)^[4]，可按像素重建HBD图像独立计算。尽管这些算法效率很高，但是由于忽略了像素周围的结构特征，因此重建的HBD图像会出现轮廓伪影。为消除这些错误轮廓伪影，又提出了许多上下文感知算法，比如插值算法(包括内容自适应图像比特深度扩展(CA)^[5]和轮廓区域重建(CRR)[6])。这些算法可以极大地消除错误的轮廓，但是局部最小或最大区域中的细节仍然会模糊不清。AC信号的最大后验估计[ACDC]^[7][8]从图形正弦处理的角度重构HBD图像，该过程通过最大后验估计来预测最可能的AC信号。ACDC非常耗时，并且在大坡度区域中的假轮廓仍然很明显。另外，从强度势场的角度提出了自适应反量化强度(IPAD)^[9]，它利用了强度势场和HBD图像统计之间的内在联系，设计了一个非线性映射以估计HBD强度。尽管IPAD的性能优于其他无监督算法，但虚假轮廓并未完全消除。此外还有很多基于深度学习的监督算法，例如通过卷积神经网络(BE-CNN)进行比特深度增强^[10]和通过合并深度神经网络的所有层级特征(BE-CALF)进行比特深度增强^[11]。有效的CNN(卷积神经网络)框架经过精心设计，可以更好地重建HBD图像，并且通过保留精美细节极大地抑制了虚假轮廓。然而，这些算法是通过基于预训练的固定神经网络计算出的梯度下降感知损失^[12]来训练的。如果可以对网络进行自适应训练，则深度学习算法的性能会更好。

最近，GAN^[13]及其变体^[14][15]已被许多计算机视觉任务广泛采用，因为它们在生成照片级逼真的图像方面具有优越的性能。还提出了许多训练程序^[16]-[18]，因为在对抗性训练生成器和鉴别器中找到纳什均衡是一项挑战。GAN(生成对抗网络)在各种图像增强任务方面通常胜过简单的深度生成网络，用于比特深度增强任务同样优秀。

比特深度增强目前面临的主要挑战为：