[发明专利]基于多阶段变分自编码器的低照度还原方法

摘要

本发明公开了一种基于多阶段变分自编码器的低照度还原方法，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：（一）采集数据源，制作数据集：（二）进行MUVAE网络第一阶段训练：（三）进行MUVAE网络第二阶段训练：（四）进行Fine tuning操作：（五）进行低照度图像还原。本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。

主权项

1.一种基于多阶段变分自编码器的低照度还原方法，其特征在于，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：(一)采集数据源，制作数据集：根据光照强度分别采集正常光照条件下的图像数据集与低照度条件下的图像数据集，所述低照度为：0.04～0.004lux，将图像数据按照度分为2个大数据集，分别为：正常光照下的可见光图像集包含训练样本标签集、交叉验证样本标签集；低照度下的弱可见光图像集包含训练数据集、交叉验证数据集、测试数据集；其中，正常光照下的可见光图像集作为网络的训练标签低照度下的弱可见光图像集的训练数据集作为网络的训练样本，弱可见光图像集的交叉验证数据集作为网络的Fine tuning样本，弱可见光图像集的测试数据集作为网络的测试样本；(二)进行MUVAE网络第一阶段训练：将正常光照下的可见光图像集、低照度下的弱可见光图像集分别作为网络训练的图像标签和训练样本送入MUVAE网络进行训练；MUVAE对训练样本进行编码、解码操作后输出重构的图像，计算重构图像与其标签之间的误差，通过优化器不断最小化误差，在最小化误差过程中逐步调整MUVAE网络第一阶段网络结构的权重、偏移项参数；(三)进行MUVAE网络第二阶段训练：输出低照度图像初步还原的图像，并将该图像作为MUVAE第二阶段训练的输入，进行二次还原，此还原侧重于优化图像细节、去除环境噪声以及调整色差，通过最小化输出图像与图像标签之间的误差，不断地优化整个网络结构的参数，逐步将网络训练至最优结构；(四)进行Fine tuning操作：MUVAE网络的训练阶段主要以低照度下的弱可见光图像集的训练数据集中的图像作为训练样本，对低照度下的弱可见光图像集的训练数据集中的图像以外的低照度图像还原的性能不够好即泛化性可能较差，鲁棒性较弱；为了增强MUVAE网络的泛化性和鲁棒性，使用低照度下的弱可见光图像集的交叉验证数据集对训练好的MUVAE网络Fine tuing操作；(五)进行低照度图像还原：将低照度下的弱可见光图像集的测试数据集送入Fine tuning之后的MUVAE网络中，得到照度还原后的可见光图像，完成对低照度图像的还原操作。