[发明专利]一种基于条件对抗网络的弱光图像增强方法和装置

说明书

本申请涉及一种基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。所述方法包括：使用多个串联的残差结构的卷积神经网络作为生成器以及WGAN‑GP作为判别器，通过跨步卷积网络对弱光图像进行下采样，通过残差网络对下采样特征图进行处理，通过转置网络对残差校正特征图进行上采样，通过跳跃连接结构将弱光图像样本原图与上采样特征图进行融合后进行激活输出，得到生成器生成图；通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵，在预设的损失函数的约束作用下，生成有效的弱光增强模型。该模型能够保留原始图像的细节信息，提高图像的亮度，同时不会产生增益噪声干扰，生成的图像更为自然，质量高。

技术领域

本申请涉及图像增强技术领域，特别是涉及一种基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。

背景技术

在弱光环境下，摄像机的成像质量差，表现在噪声多、色彩失真、亮度和对比度低，通常需要进行图像增强处理。

传统弱光图像增强方法主要分为2类。第1类方法建立在直方图均衡化技术的基础上，并增加额外的先验和约束，其目的是扩大范围来提高图像对比度。如差分灰度直方图方法，通过扩大相邻像素之间的灰度差异，可以一定程度上提高图像的对比度，但是在色彩处理方面表现不佳。第2类算法是基于视网膜理论，视网膜理论是人类视觉的亮度和色彩感知模型，其假定图像可以分解为反射率和照明度这两个分量。早期的算法单尺度视网膜理论和多尺度视网膜理论输出的图像看起来不自然，并且出现过度增强的问题。通常，传统的弱光增强方法建立在具体的统计模型和特定的假设之上，在提高图像照明度和消除噪音方面取得一定效果，而在色彩处理、图像自然性方面存在局限。随着深度学习的出现，低级视觉任务从深度模型中取得了显著的效果，例如用于降噪的，用于超分辨率的，用于压缩伪影去除和用于压缩伪影、除雾等。同时出现了大量针对弱光图像增强的方法。LLNet使用深度自动编码器进行微光图像去噪，但其网络结果过于简单，所得的效果不佳。其他基于CNN的方法，如LLCNN，不能同时增强图像对比度和去噪。Retinex-Net的深度网络结合了图像分解和照明映射，并利用了除噪声工具来处理反射分量，但增强后的图像颜色失真严重。因此，现有技术存在效果不佳的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高弱光图像增强效果的基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。

一种基于条件对抗网络的弱光图像增强方法，所述方法包括：

获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；

通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；

通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；

通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；

通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；

通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；

根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；

通过训练好的生成器网络进行弱光图像的增强。

在其中一个实施例中，还包括：所述残差块由卷积层、实例归一化层和Relu激活层组成。