[发明专利]基于多尺度的轻量级低光图像增强方法

说明书

本发明提供了基于多尺度的轻量级低光图像增强方法。它解决了现有方法无法完整保留图像细节、清晰度差、色彩失真与泛化能力弱等问题。本发明利用图像的多尺度表示，使用深度神经网络提取低光图像的多尺度光照信息，有效发掘并保留图像的细节特征。采用渐进式融合策略对多尺度光照信息进行融合与调整，恢复得到可准确表示外界光照分布的精细光照图像。最终根据视觉理论消除外界光照的不良影响，实现图像增强。本发明充分利用了图像在不同尺度下的互补特征信息，增强图像视觉效果好，且网络简洁，处理速度快，具有实用价值。

技术领域

本发明属于图像增强技术领域，具体涉及到一种基于多尺度的轻量级低光图像增强方法。

背景技术

低光环境一直是计算机视觉领域的难题，任何在光照不足、不均的环境下拍摄的图像都会存在亮度低、噪声多、色彩失真等问题，严重降低图像质量，影响计算机视觉系统的性能。因此，为了提高图像质量与视觉系统的性能，有必要对低光图像进行增强处理。在过去的数十年间，科研人员一直致力于低光图像增强方法的研究与应用工作。目前，已有的低光图像增强方法分为传统方法和深度学习方法。

传统方法又可分为基于直方图均衡化方法与基于Retinex理论方法。前者通过扩大图像的灰度动态范围改变图像灰度的整体分布状况，提高图像亮度，但对图像细节的增强效果较差。后者基于Retinex视觉理论，认为低光图像是物体反射图像与外界光照图像的乘积，通过对低光图像进行高斯模糊等操作获得光照图像，然后利用数学计算去除光照影响，得到反射图像，即增强结果。此类方法对彩色图像增强效果有限，容易产生色彩失真。

近年来，随着深度学习的迅速发展与大数据时代的到来，基于深度学习的增强方法得到广泛应用。此方法利用神经网络从大量低光数据集中学得一种图像增强与调整能力。它又可分为端到端的直接增强方式与包括光照估计的间接增强方式。前者通过训练数据集直接学习得到增强图像，如LLNet。后者先利用网络估计得到光照图像，然后基于Retinex理论得到增强结果，如MSR-net。此类方法借助神经网络优秀的特征提取能力，有效提高了方法的泛化能力，但网络结构复杂，处理时间长，难以满足视觉系统的实时性要求。

综上，无论是传统方法还是深度学习方法都存在诸多不足。传统方法实现简单，处理速度快，不依赖训练数据集，但泛化能力弱，无法对多场景低光图像进行有效增强。而深度学习方法借助深度网络与大量数据集学习得到泛化能力强的增强模型，但它过度依赖领域知识，模型复杂度高，且增强图像可能丢失纹理细节，发生色彩失真等。因此，须提供一种新的基于多尺度的轻量级低光图像增强方法，在保证增强结果清晰逼真的前提下，提高方法泛化能力，降低模型复杂度，提高处理速度。

发明内容

针对现有的基于深度学习方法的不足与改进需求，本发明提供了一种基于多尺度的轻量级低光图像增强方法，具体方案包括以下步骤：

步骤一、对低光图像进行多尺度变换，获得不同尺度的低光图像；

步骤二、利用网络提取不同尺度的低光图像的初始光照；

步骤三、对初始光照进行深度特征提取与跨尺度融合，获得融合光照；

步骤四、对多尺度融合光照进行上采样、连接与调整操作，获得精细光照；

步骤五、根据Retinex视觉理论，由精细光照计算得到增强图像。

进一步地，上述步骤一具体过程为：以低光图像作为底层图像，自底向上建立高斯图像金字塔，具体实现过程如公式(1)、(2)所示：

在公式(1)中，G_i表示金字塔第i层图像，共有n层，Down()表示下采样操作，表示卷积操作，g_k×k表示尺寸为k×k的高斯卷积核；公式(2)为高斯核函数，其中σ表示尺度参数；多次迭代以上过程得不同高度的图像金字塔。