[发明专利]基于非配对训练的错误曝光图像的亮度调节方法

权利要求书

1.基于非配对训练的错误曝光图像的亮度调节方法，其特征在于包括以下步骤：

步骤1：在图像输入阶段，将曝光错误的图像通过随机翻转等数据增强方式增加样本多样性，并将图像从像素值范围[0，255]归一化到[0，1]；

步骤2：将步骤1得到的曝光错误图像和亮度提供量输入编码网络解耦为内容编码和亮度编码，分别进行特征提取和转化，该阶段两个编码器通过卷积层、残差块、全局平均池化层、全连接层和重参数化等操作，输出曝光错误图像的内容编码和亮度提供量对应的亮度编码；

步骤3：将步骤2得到的内容编码和亮度编码重新组合，通过上采样层、卷积层等操作，输出与亮度提供量对应的亮度等级相同的图像。

步骤4：将步骤3得到的图像输入判别器和分类器，其中判别器用于判别图像是否真实，分类器判别当前图像的亮度等级是否为输入的亮度提供量对应的亮度等级，作为损失项用于优化网络；

步骤5：调整步骤3得到的重组图像，使其像素值范围从[0，1]到[0，255]，得到调节亮度后的图像。

2.根据权利要求1所述的基于非配对训练的错误曝光图像的亮度调节方法，其特征在于，所述步骤2的将曝光错误图像和亮度提供量输入编码网络解耦的具体方法包括以下内容：

(1)若处于测试阶段，则亮度提供量为亮度等级或亮度参考图像；若处于训练阶段，则亮度提供量为原始图片或随机选取的亮度等级；对于亮度提供量是图片类型，我们输入亮度编码器输出一个满足高斯分布样式的亮度编码，对于亮度提供量是亮度等级类型，我们将等级(一个数字)转化为一个高斯分布，得到亮度编码；

(2)亮度编码器包含四个卷积层、一个全局平均池化层和两个全连接层。首先进行一次7×7卷积，将输出通道数从3通道改变到64通道，不改变特征图尺寸；然后通过三次4×4卷积进行上采样，尺寸降为原来的1/2、1/4、1/8，通道相应变为128、256和256；再采用全局平均池化将特征图变为256维的特征向量，分别通过两个全连接层得到亮度编码对应的100维的均值与方差，最后结合重参数化技巧将亮度编码拟合为高斯分布作为输出；

(3)内容编码器包含三个卷积层和四个残差块，进行下采样和特征提取。首先进行一次7×7卷积，将输出通道数从3通道改变到64通道，不改变特征图尺寸；然后通过两次4×4卷积进行上采样，尺寸降为原来的1/2和1/4，通道变为128和256；最后通过四个由3×3卷积构成的残差块，不改变特征图尺寸和通道数，最终输出作为内容编码；

(4)针对将亮度编码拟合高斯分布，我们基于衡量两分布差异的相对熵(KL散度)设计了分布一致性约束项，相对熵越小，两者分布越接近；计算亮度编码器生成的高斯分布样式的亮度编码与均值为对应等级和单位方差的高斯分布的相对熵，训练时使其值下降。

3.根据权利要求2所述的基于非配对训练的错误曝光图像的亮度调节方法，其特征在于，所述步骤(1)的具体细节包括以下内容：

①若亮度提供量为亮度参考图像，则输入亮度编码器进行特征提取，将得到的特征向量拟合为高斯分布，得到亮度编码；

②若亮度提供量为亮度等级，则将该值作为均值拟合一个高斯分布(单位方差)(单位方差)，经过扩维和维度复制的操作，变为与经过亮度编码器编码产生的亮度编码具有相同尺寸的编码。