[发明专利]基于多阶段变分自编码器的低照度还原方法

权利要求书

1.一种基于多阶段变分自编码器的低照度还原方法，其特征在于，一方面增强低照度图像去噪能力、提高低照度图像细节还原效果，另一方面简化了网络结构并加快了网络训练速度，具体步骤如下：

(一)采集数据源，制作数据集：根据光照强度分别采集正常光照条件下的图像数据集与低照度条件下的图像数据集，所述低照度为：0.04～0.004lux，将图像数据按照度分为2个大数据集，分别为：

正常光照下的可见光图像集包含训练样本标签集、交叉验证样本标签集；

低照度下的弱可见光图像集包含训练数据集、交叉验证数据集、测试数据集；

其中，正常光照下的可见光图像集作为网络的训练标签低照度下的弱可见光图像集的训练数据集作为网络的训练样本，弱可见光图像集的交叉验证数据集作为网络的Finetuning样本，弱可见光图像集的测试数据集作为网络的测试样本；

(二)进行MUVAE网络第一阶段训练，第一阶段由变分自编码器和U-Net结构构成：将正常光照下的可见光图像集、低照度下的弱可见光图像集分别作为网络训练的图像标签和训练样本送入MUVAE网络进行训练；MUVAE对训练样本进行编码、解码操作后输出重构的图像，计算重构图像与其标签之间的误差，通过优化器不断最小化误差，在最小化误差过程中逐步调整MUVAE网络第一阶段网络结构的权重、偏移项参数；

(三)进行MUVAE网络第二阶段训练，第二阶段由5个残差块、2个卷积层构成：输出低照度图像初步还原的图像，并将该图像作为MUVAE第二阶段训练的输入，进行二次还原，此还原侧重于优化图像细节、去除环境噪声以及调整色差，通过最小化输出图像与图像标签之间的误差，不断地优化整个网络结构的参数，逐步将网络训练至最优结构；

(四)进行Fine tuning操作：MUVAE网络的训练阶段主要以低照度下的弱可见光图像集的训练数据集中的图像作为训练样本，对低照度下的弱可见光图像集的训练数据集中的图像以外的低照度图像还原的性能不够好即泛化性可能较差，鲁棒性较弱；为了增强MUVAE网络的泛化性和鲁棒性，使用低照度下的弱可见光图像集的交叉验证数据集对训练好的MUVAE网络Fine tuing操作；

(五)进行低照度图像还原：将低照度下的弱可见光图像集的测试数据集送入Finetuning之后的MUVAE网络中，得到照度还原后的可见光图像，完成对低照度图像的还原操作。

2.根据权利要求1所述的基于多阶段变分自编码器的低照度还原方法，其特征在于，步骤(一)具体过程如下：

1)正常光照下的可见光图像集采集

采集的是正常照度条件下的图像数据，采集后，以6：2：2的图像数量比例分成训练样本标签集、交叉验证样本标签集和备用三个数据集；

2)低照度下的弱可见光图像集采集

在采集正常照度条件下图像数据后，保持相机角度不变，依照调节照度的原则获取低照度图像数据；

低照度下的弱可见光图像集采集完成后，以6：2：2的图像数量比例，分别组成训练数据集、交叉验证数据集、测试数据集三个子数据集；

3)图像尺寸归一化操作

对所有图像数据进行尺寸归一化处理，通过裁切将所有图像大小固定为WxH大小；

4)图像像素值归一化操作

对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内；像素值归一化计算表达式如公式(1)所示：

其中，x为原始的像素值，min为像素值的最小值，max为像素值的最大值，X^*为归一化后的像素值。