[发明专利]一种自监督低照度图像增强方法及系统

说明书

本发明提供了一种自监督低照度图像增强方法及系统，属于计算机视觉技术以及图像处理技术领域，方法包括：对低照度图像进行直方图均衡化处理，再采用先验映射函数提取出直方图均衡先验信息；将最大通道值与低照度图像结合采用卷积层获取连接图中的特征图像；以直方图均衡先验信息和连接图中的特征图像为空间特征转换层的输入，学习直方图均衡先验信息的调制参数对自适应地对连接图中的特征图像进行空间上的仿生变换，获取融入先验信息的特征图像；将融入先验信息的特征图像输入到自适应深度神经网络模型中获取反射图和亮度图；反射图为复原图像。本发明采用训练后的自适应深度神经网络对低照度图像进行增强，增强效果得到了大大提升。

技术领域

本发明属于计算机视觉技术以及图像处理技术领域，更具体地，涉及一种自监督低照度图像增强方法及系统。

背景技术

低照度图像增强是图像处理技术的核心问题之一，可广泛地应用于语义分割、目标识别和目标检测等高层计算机视觉任务中。低照度图像是由于现有视觉成像技术的限制，在夜间等低照度条件下，光线照明不足，使水平能见度显著降低，从而导致成像传感器采集的图像严重降质。

传统的低照度增强方法包括基于直方图均衡的方法和基于人类视觉模型的方法。后者受到的关注相对较多。一个典型的基于人类视觉模型的方法通过某种先验或正则化将低照度图像分解为反射分量和照明分量。而被估测的反射饭量被视为增强的效果。这种方法有一些局限性：1)将反射分量视为增强结果的理想假设并不总是成立，特别是考虑到各种照明特性，可能会导致不现实的增强，如细节的损失和色彩的扭曲；2)基于人类视觉模型方法中通常忽略了噪声，因此噪声在增强结果中被保留或被放大；3)找到一个有效的先验或正则化是具有挑战性的，不准确的先验或正则化可能导致增强后的结果出现伪影和颜色偏差，以及由于其复杂的优化过程，运行时间相对较长。

深度卷积神经网络(CNN)在低光照图像增强方面达到了目前最先进的水平。与传统方法相比，深度卷积神经网络可以学习到更好的特征表示，获得了具有卓越视觉质量的增强结果，这得益于大型数据集和强大的计算能力。然而，目前基于深度卷积神经网络的方法需要有配对的训练实例，而在实际中捕捉同一视觉场景的低照度和正常照度的图像是非常具有挑战性。因此，目前的技术方案极大地受限和依赖于对数据集的收集，并不是一个本质的解决方案。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种自监督低照度图像增强方法及系统，旨在解决现有的低照度图像增强方法采用的深度卷积神经网络极大地受限于对数据集的收集，在实际中捕捉同一视觉场景的低照度和正常照度的图像是非常具有挑战性的，导致训练后的深度卷积神经网络对低照度图像的增强效果较差问题。

为实现上述目的，一方面，本发明提供了一种自监督低照度图像增强方法，包括以下步骤：

对低照度图像进行直方图均衡化处理，再采用映射函数提取出经过直方图均衡化处理的低照度图像的高阶特征信息，将高阶特征信息作为直方图均衡先验信息；其中，低照度图像是指在环境光照强度小于1Lux情况下拍摄的图像；

计算低照度图像的最大通道值，将最大通道图像与低照度图像结合后输入到第一组合层以获取连接图中的特征图像；其中，第一组合层包括一层9×9的卷积和ReLU层；

以直方图均衡先验信息和连接图中的特征图像作为空间特征转换层的输入，学习直方图均衡先验信息的调制参数对以自适应地对连接图中的特征图像进行空间上的仿射变换，获取融入先验信息的特征图像；

将融入先验信息的特征图像输入到基于视网膜大脑皮层理论构建的自适应深度神经网络模型中，通过若干卷积层和sigmoid层获取反射图和亮度图；其中，所述反射图为复原图像。

进一步优选地，先验映射函数为深度卷积神经网络，包括五层结构，第一层为第二组合层，中间三层为第三组合层；最后一层为1×1卷积层；其中，第二组合层包括3×3卷积和LeakyReLU层；第三组合层包括1×1卷积和LeakyReLU层。