[发明专利]基于多尺度的轻量级低光图像增强方法

权利要求书

1.一种基于多尺度的轻量级低光图像增强方法，其特征在于，包括步骤如下：

步骤一、对低光图像进行多尺度变换，获得不同尺度的低光图像；

步骤二、利用网络提取不同尺度的低光图像的初始光照；

步骤三、对不同尺度的初始光照进行跨尺度融合，获得融合光照；

步骤四、对多尺度融合光照进行上采样、连接与调整操作，获得精细光照；

步骤五、根据Retinex视觉理论，由精细光照计算得到增强图像。

2.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤一具体过程为：以低光图像作为底层图像，自底向上建立高斯图像金字塔，具体实现过程如公式(1)、(2)所示：

在公式(1)中，G_i表示金字塔第i层图像，共有n层，Down()表示下采样操作，表示卷积操作，g_k×k表示尺寸为k×k的高斯卷积核；公式(2)为高斯核函数，其中σ表示尺度参数；多次迭代以上过程得不同高度的图像金字塔。

3.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤二具体为：设计含有多层网络结构的提取网络，独立提取不同尺度的低光图像的初始光照，各层网络结构由单元构成，每个单元依次由卷积层、批归一化层、激活函数组成；根据输入图像的尺度不同，各层网络的卷积核尺寸依次设置为步骤一中相应层的卷积核尺寸。

4.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤三具体为：将步骤二得到的低分辨率的初始光照输入到融合网络模型中，对光照信息进一步提取，然后利用反卷积进行上采样，与所有高分辨率初始光照逐像素相加，实现特征融合；迭代上述过程，获得多尺度的融合光照；所述融合网络内部包括残差块，每个残差块由卷积层、批归一化层以及激活函数组成，各残差块内部利用跳跃连接，实现光照信息的渐进式融合与梯度的反向传播。

5.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤四具体为：首先将步骤二得到的初始光照与步骤三得到的融合光照分别在各自尺度下进行连接；然后利用卷积层进一步整合光照信息，学习多尺度光照的各通道间的关联性与依赖性，输出新的光照；然后自顶向下，对相邻尺度的光照进行连接操作，先将低尺度光照上采样至与高尺度光照相同尺寸再进行连接，得到较高尺度的新光照；对所有相邻尺度光照迭代进行上述操作，直至获得尺寸与原始图像相同的多通道光照；最后利用卷积操作进行通道调整，得到精细光照，能够准确反映外界光照对原始图像的影响。

6.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述步骤五具体为：

步骤五一、低光图像S是原始图像R与光照图像L的乘积；将低光图像S与光照图像L进行对数变换，如公式(4)所示：

log(S(x,y))＝log(R(x,y))+log(L(x,y)) (4)

步骤五二、在对数域将二者做差，如公式(5)、(6)所示：

r(x,y)＝log(R(x,y))＝log(S(x,y))-log(L(x,y)) (5)

r(x,y)＝s(x,y)-l(x,y) (6)

步骤五三、将计算结果进行指数变换，回到原数域，得到增强图像，如公式(7)所示：

R(x,y)＝e^r(x,y) (7)。

7.根据权利要求1所述的基于多尺度的轻量级低光图像增强方法，其特征在于，该方法在网络模型训练阶段，将低光图像数据集中的低光与正常光图像对分别输入到网络中，低光图像作为网络输入，正常光图像作为标签，用损失函数衡量增强图像与标签之间的损失，依据损失对网络进行梯度回传，更新网络参数，多次迭代训练网络。

8.根据权利要求7所述的基于多尺度的轻量级低光图像增强方法，其特征在于，所述损失函数包括三个子项，分别是：衡量正常图像在估计光照影响下与低光图像的相似度的重建损失L_recon，如公式(9)所示；衡量增强图像与正常光照图像的空间结构相似程度的结构相似度损失L_ssim，如公式(10)所示；用于对光照进行平滑约束的平滑损失L_smooth，如公式(11)所示；其中，λ₁，λ₂，λ₃分别表示各损失子项的权重；

L＝λ₁L_recon+λ₂L_ssim+λ₃L_smooth (8)

公式(9)中，S_i表示第i张光照图，表示第i张正常光照头像，I_i表示第i张低光图像，N表示训练数据量，|| ||₂代表欧式距离；公式(10)中，μ_x、μ_y分别代表增强结果与正常光照图像的平均亮度，σ_x、σ_y表示增强结果与正常光照图像的对比度，C₁、C₂分别是防止除零异常的常数；公式(11)中，p与c分别表示光照图像的像素数与通道数，与表示光照图像在通道c的p像素处的水平与垂直梯度的平方，与表示水平与垂直梯度的权重；最终的损失函数L由三个损失函数加权组成，该函数有效地监督网络模型的训练过程。