[发明专利]基于色彩恢复块的彩色微光图像重建方法

说明书

本发明公开了一种基于色彩恢复块的彩色微光图像重建方法，属于数字图像处理领域。本发明用色彩恢复块代替自我校正卷积里的池化和上采样等处理机制形成通道校正卷积，然后将通道校正卷积代替U‑Net网络中的传统卷积，用以颜色恢复和保留更多图像信息；同时增加Sobel损失函数旨在抑制噪声并保护图像细节。本发明不仅能够提高亮度、对比度、抑制噪声和避免颜色失真，还能减少运行时间。

技术领域

本发明属于图像处理技术领域，具体为一种基于色彩恢复块的彩色微光图像重建方法。

背景技术

夜视技术是通过光电成像器件来探测夜间目标的技术，它能通过光探测器和成像设备的采集、处理和显示等过程将肉眼在夜间无法辨别的目标转换成可视目标。传统的夜视技术包括了微光夜视和红外夜视，其成像均为单色图像，由于人眼能分辨的颜色等级是灰度等级的几百倍，随着夜视技术的发展和传感器成本的降低，人们致力于将单色夜视图像彩色化，以利用人眼视觉特性，更有效获取目标场景信息。

以往的彩色夜视是利用不同波段的信号产生的图像融合成彩色图像或者通过颜色传递的方法，产生的彩色图像不自然，不能反映景物在白天所呈现的真实颜色信息。现如今真彩色夜视技术得到的图像与白天看到物体的颜色相一致，更加接近物体的真实颜色，与人眼的主观视觉相一致，能够提高目标的识别率，具有很高的应用价值。因此，真彩色微光图像一直都是夜视领域的重点研究对象。

低照度图像增强方法大致分成两大类：传统的方法和基于深度学习的方法。传统的增强方法有基于直方图均衡化(HE)的方法。该方法通过拉伸图像的灰度值分布来提高图像的对比度。随着HE的发展，基于不同的额外的先验和限制的HE方法被提出。受到早期视觉系统的启发，另一种策略就是基于Retinex理论的方法。该理论认为一个图像是由反射图和光照图组成的。经典的算法有单尺度Retinex(SSR)、多尺度Retinex(MSR)使用光照图来进行低照度图像增强。Dong等人则是采用去雾的方法。最近基于深度学习的方法在图像去模糊，图像增强，图像去噪等图像处理方面获得了巨大的成功。基于深度学习的可以分成监督学习和无监督学习。监督学习则是在训练过程中需要成对的低照度图像和参考图像；而无监督学习则只需要低照度图像。但是为了抑制低照度图像的噪声，一些方法是在低照度图像增强后进行降噪，这样降噪之前的增强会使噪声放大；还有的方法是在增强前进行降噪，这样会将一些图像细节信息进行消除，导致图像模糊。此外，分两步进行还会增加处理时间，影响实时性。

发明内容

本发明的目的在于提出了一种基于色彩恢复块的彩色微光图像重建方法，以解决现有的低照度图像增强方法中存在的噪声、颜色恢复和实时性等问题。

实现本发明目的的技术方案为：一种基于色彩恢复块的彩色微光图像重建方法，具体步骤为：

步骤1：在室内和室外采集低照度图像和正常光图像，由低照度图像和对应的正常光图像生成校园数据集；

步骤2：构建用于端对端训练的卷积神经网络模型，所述卷积神经网络模型包括输入层、隐藏层、输出层，所述输入层用于输入目标低照度图像，所述隐藏层用于对输入图像进行卷积计算及反卷积计算，输出层用于输出结果，输入层、隐藏层、输出层之间通过激活函数连接在一起；

步骤3：确定优化器和损失函数，使用校园数据集对卷积神经网络模型进行训练；

步骤4：将待重建图像输入训练好的卷积神经网络模型获得清晰图像。

优选地，在正常光图像采集场景中，将透射率为10％的中性滤光片放在镜头前采集的图像为低照度图像。

优选地，所述隐藏层包括编码器和解码器，具体结构为：

卷积层1：卷积核大小3×3，卷积核个数为32，卷积步长为1，填充为相同；通道校正卷积1：输出通道数为32；池化层1：选择最大池化，大小为2×2，步长为2，填充为相同；