[发明专利]基于多阶段变分自编码器的低照度还原方法

说明书

本发明公开了一种基于多阶段变分自编码器的低照度还原方法，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：（一）采集数据源，制作数据集：（二）进行MUVAE网络第一阶段训练：（三）进行MUVAE网络第二阶段训练：（四）进行Fine tuning操作：（五）进行低照度图像还原。本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。

技术领域

本发明涉及深度学习、图像增强技术领域，尤其涉及一种基于多阶段变分自编码器的低照度还原方法。

背景技术

由于受到物体接收的入射辐射不足，在低光环境下拍摄的图像易于从低能见度中获得，例如对比度降低，颜色模糊，场景细节模糊。另外，在低光环境下拍摄的图像通常会受到低动态范围和噪声的影响，丢失许多细节信息，从而降低图像的质量。如何能在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图像一直是深度学习、图像增强技术领域研究的方向。

变分自编码器(VAE)作为深度生成模型的一种形式，是由Kingma等人于2014年提出的基于变分贝叶斯(Variational Bayes，VB)推断的生成式网络结构。VAE利用两个神经网络建立两个概率密度分布模型：一个用于原始输入数据的变分推断，生成隐变量的变分概率分布，称为推断网络；另一个根据生成的隐变量变分概率分布，还原生成原始数据的近似概率分布，称为生成网络。VAE近年在数据生成方面有较多的应用，尤其是在图像生成方面，其结构如图1所示。

U-Net是由Olaf Ronneberger等人在2015提出的一种分割网络，能够适应很小的训练集，其网络的主体结构和自编码器类似，主要包括两部分：编码结构和解码结构。编码结构类似于特征提取器，通过一系列的卷积和下采样操作捕获输入图像的特征信息；解码结构是在与编码结构对称的基础上扩展的，以编码结构提取的特征为基础，通过一系列的转置卷积和上采样操作逐步生成新的图像。U-Net解码结构的特点是将对应编码结构层的输出结果作为解码层输入的一部分，这个操作能够有效的克服编码过程中信息丢失的问题，提高了生成图像的质量。由于编码、解码的网络结构呈“U”型，所以取名为“U-Net”，其网络结构如图2所示。

卷积网络(Convolutional Neural Networks，CNN)，是由LeCun于1989年提出的特殊神经网络，也叫卷积神经网络，主要用于处理具有类似网络结构的数据的神经网了，如时间序列数据(可看成是在时间轴上有规律地采样形成地一维网格)、图像数据(可看成是二维的像素网格)等，CNN中的“卷积”是一种特殊的线性运算。CNN近年来被广泛的用于深度学习的各项领域，如图像处理、语音处理和自然语言处理等。

在上述理论基础上，本发明提出了利用变分自编码器，结合U-Net网络结构，并引入多阶段训练的方法对低照度图像进行照度还原。

发明内容

针对现有技术的不足，本发明所解决的技术问题是如何能在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图像。

为解决上述技术问题，本发明采用的技术方案是一种基于多阶段变分自编码器的低照度还原方法，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：

(一)采集数据源，制作数据集：根据光照强度分别采集正常光照条件下的图像数据集与低照度条件下的图像数据集，所述低照度为：0.04～0.004lux，将图像数据按照度分为2个大数据集，分别为：

正常光照下的可见光图像集包含训练样本标签集、交叉验证样本标签集；

低照度下的弱可见光图像集包含训练数据集、交叉验证数据集、测试数据集；