[发明专利]基于半监督学习的低照度图像增强方法

权利要求书

1.一种基于半监督学习的低照度图像增强方法，其特征在于，该方法包括：

S1、获取用于低照度图像增强模型训练的图像数据集，包括有标签数据集和无标签数据集；

S2、对图像数据集中的每一幅低照度图像样本x∈R^W×H×3，采用亮通道先验计算对应的大小为W×H的亮通道图x^L，计算式为：

其中：x^L(m，n)代表亮通道图x^L中坐标为(m，n)的像素值，max()表示取最大值操作，x^C代表低照度图像样本x中颜色分量为C的颜色分量图像，R、G、B分别代表红、绿、蓝三种颜色分量，x^C(i，j)代表颜色分量图像x^C中坐标为(i，j)的像素值，Ω(m，n)代表坐标为(m，n)的像素的一个邻域；W和H为低照度图像样本x的宽度和高度；

S3、针对每个低照度图像样本x，对应获取S2中计算得到的亮通道图x^L，将x与x^L沿通道方向拼接成一个W×H×4的四通道图像；

所述低照度图像增强模型以四通道图像作为输入，输入的四通道图像先由深度卷积神经网络输出3N_iter个映射系数图，再以迭代形式的灰度映射实现低照度图像增强；其中灰度映射的第i轮迭代表示为：

式中：1≤i≤N_iter，N_iter为预设的灰度映射总迭代次数，f代表所述灰度映射使用的映射函数，z_i-1和z_i分别为第i轮迭代时映射函数的输入图像和输出图像，且z₀为原始的低照度图像样本x，为经过N_iter轮迭代后低照度图像增强模型最终输出的增强图像和分别为第i轮迭代时红、绿、蓝三个颜色分量对应的映射系数图，均取自深度卷积神经网络输出的3N_iter个映射系数图；

S4、设置低照度图像增强模型的总训练轮次为N_epoch，先采用有标签数据集中的样本对所述低照度图像增强模型进行N_label轮训练，并以最小化损失函数L_labeled为目标对于深度卷积神经网络各个网络层的参数进行优化，L_labeled如下式所示：

其中代表以有标签数据集D_L中的样本x为输入，由低照度图像增强模型输出的增强图像；y为有标签数据集D_L中的样本x对应的标签图像，||.||₁代表1-范数；

S5、在后续的N_epoch-N_label轮训练中，随机选取有标签数据集或无标签数据集中的样本对深度卷积神经网络继续进行训练；其中，若选择有标签数据集中的样本进行训练，则按所述S4中相同的训练方式对深度卷积神经网络进行训练；若选择无标签数据集中的样本进行训练，则定义新的总损失函数L_unlabel，以最小化损失函数L_unlabel为目标对深度卷积神经网络各个网络层的参数进行优化，L_unlabel如下式所示：

L_unlabel＝L_{illu_sm}+L_{enh_sm}+L_exp

其中：

第一个损失项L_{illu_sm}用于控制各个颜色通道具有相近的增益系数，其计算方法为：

首先，由输入图像x和对应的由模型预测得到的输出图像计算颜色分量C的增益系数图M^C：

其中：x^C和分别为x和中颜色分量为C的颜色分量图像，M^C(i，j)、x^C(i，j)和分别表示增益系数图M^C和颜色分量图像x^C、坐标为(i，j)的像素值，∈为一个用于避免分母为0的正实数；

然后，按下式计算得到损失函数L_{illu_sm}：

其中||.||₂代表2-范数，(C1，C2)为集合Λ中的一组不同颜色分量组合；

第二个损失项L_{enh_sm}用于控制各个颜色分量的增益系数图具有平滑的特性，按下式计算：

其中为一阶微分算子；

第三个损失项L_exp用于控制增强后的图像具有期望的整体亮度，对于输出的增强图像首先将其划分成B×B大小的子块，计算每个子块的平均灰度值，然后按下式计算损失函数：

其中G_k为第r个子块的平均灰度，E是预设的期望灰度，N_B为总的子块数；

S6、针对待处理的低照度图像采用亮通道先验计算对应的亮通道图然后将待处理的低照度图像与亮通道图沿通道方向拼接成一个四通道图像，输入经过S4和S5训练后的所述低照度图像增强模型中，输出经过增强后的增强图像。