[发明专利]一种基于多尺度和上下文学习网络的低照度图像增强方法

说明书

本发明涉及一种图像增强方法，特别是指一种基于多尺度和上下文学习网络的低照度图像增强方法。构建基于多尺度和上下文编码的网络，通过提高模型的多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，该网络的输入为低光照图像，输出为其对应的增强图像；有益效果在于，该模型能够提高多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，在保证上色结果图像质量的同时提高了颜色的饱和度和多样性，增强低光照图像的细节信息，使低光照图像增强效果更自然、更清晰。

技术领域

本发明涉及一种图像增强方法，特别是指一种基于多尺度和上下文学习网络的低照度图像增强方法。

背景技术

低光照图像增强是计算机视觉中一项重要且具有挑战性的任务。在暗光或光线不足的条件下拍摄的图像，通常会出现图像的亮度过低、部分图像信息缺失、产生大量噪声等严重影响图像成像质量的问题，低光照图像增强即对此类图像的光照、颜色、对比度等进行增强处理使图像变得自然和清晰。这项任务已被广泛用于安全监控、产品检验、人机交互、医学应用和目标检测等实际应用中。近年来，随着卷积神经网络，即CNN的快速发展，CNN被大量应用于计算机视觉任务中，其中基于CNN的低光照增强方法也得到了广泛研究。2017年Lore等人通过构造栈式稀疏去噪自编码器(LLNet)实现低照度增强，首次表明深度学习适用于低照度增强任务。2020年Syed等人提出了针对关键元素的多尺度残差模块来自多个尺度的背景信息，同时保留了高分辨率的空间细节，实现了低光照图像的细节增强。2021年Jiang等人设计的EnlightenGAN用于无参考低照度图像增强，减少了对成对(低光照－正常光照)数据集的依耐。

上述基于CNN的方法取得了显著的效果，但是该类方法受限于卷积核的尺寸，难以捕获多尺度特征信息和全局信息。缺陷在于：一方面，从局部看，低光照图像的照度分布是复杂的，其位置、形状和尺寸都具有一定的多样性。因此，单一尺寸的卷积操作难以充分学习低照度分布的特征信息。另一方面，从整体看，低光照图像的照度具备一定全局风格，比如整体非常暗或整体一般暗。学习全局信息有助于模型从全局视角指导局部的照度增强，通过对全局和局部信息的捕获，使得模型具备自适应增强的能力。受限于卷积核感受野的大小，CNN难以学习全局上下文信息，导致该类模型在稍暗的局部区域容易增强不足，或在稍亮的局部区域曝光过度。

发明内容

本发明的目的在于提供一种基于多尺度和上下文的低照度图像增强方法，从而克服现有技术的不足。

本发明的技术方案在于，构建基于多尺度和上下文编码的网络，即Multiscaleand Context Learning Network，简称MCL-Net，通过提高模型的多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，该网络的输入为低光照图像，输出为其对应的增强图像；为了提取多尺度特征，通过四个多尺度特征提取模块和三个双线性插值操作，融合跳跃连联、上下文编码和最大池化，构建了多尺度特征学习子网络；为了获取全局视野以引导局部的照度增强，构建由转换器实现的上下文编码子网络；为了生成增强结果，构建由三组“上采样+特征拼接+多尺度特征学习子网络”和一个1×1卷积堆叠而成的上采样子网络。

本发明具体包括以下步骤：

步骤1，数据收集与处理，训练数据集2万对合成数据集，原始数据从VOC、COCO数据集中选择、测试数据LOL、NASA和LIME作为测试数据集。

步骤2，构建MCL-Net网络，基于多尺度和上下文学习的网络模型，采用提取多尺度特征和上下文编码信息，增强网络对多尺度信息的表示能力，通过残差注意力机制(通道注意力和空间注意力)，有效地学习照度分布信息，增强图像的细节信息和光照度。

多尺度学习模块利用不同步长的最大池化操作获得多尺度特征，然后特征送入空间注意力和3×3卷积以过滤噪声信息；多尺度特征融合时引入通道注意力加权不同的尺度特征，而非简单的同等对待各个尺度的信息，使得网络学习到更有价值的多尺度信息。该模块可以表示为：