[发明专利]相机感知特性引导的真实曝光校正方法和系统

权利要求书

1.相机感知特性引导的真实曝光校正方法，其特征在于，包括以下步骤：

步骤101：搭建真实数据采集系统，利用该系统采集真实成对曝光校正数据集，其中，真实成对曝光校正数据集包含成对的过/欠曝光图像和正常曝光图像；

步骤102：分析相机感知特性，设计通道引导的曝光校正网络，在同一个网络中学习欠曝光和过曝光所需的不同先验知识；

其中，网络总体结构包括主分支、彩色通道引导分支和引导通道选择模块；将RAW图像分解为红绿绿蓝四个通道；首先使用引导通道选择模块自动选择所需的颜色通道，用于过曝光或欠曝光校正；然后，将所选颜色通道输入到颜色通道引导分支中，生成引导特征；最后，利用引导特征对主分支中的相应特征进行调制；

设计一个引导通道选择模块；首先，将四个通道RAW图像输入一个全局平均池层，获得平均向量；随后，为进一步获取不同通道的权重信息，采用两个完全连接层来学习每个通道之间的非线性关系；然后，利用Sigmoid门控机制来限制每个通道的最终注意权重，两个最大值对应的通道即为所选通道；

在训练网络进行过曝光和欠曝光校正时，约束引导通道选择模块来选择特定的通道进行相应的校正任务，表示为：

L_s＝||I_s-I_d||₁ (1)

其中，L_s表示通道选择损失，I_s和I_d分别表示所选择的通道和目标通道，即：过曝光校正为蓝色和红色通道，欠曝光校正为绿色通道；

设计一个彩色通道引导模块，通过引导信息对特征进行调制；首先，将选定的颜色通道输入到颜色通道引导分支中，生成引导特征；然后，利用具有相应空间分辨率的引导特征对主分支特征进行调制；

步骤103：使用知识蒸馏，让通道引导的曝光校正网络更有效地学习过曝光和欠曝光校正所需的先验知识；

其中，知识蒸馏，是将过曝光和欠曝光校正所需的先验知识蒸馏到通道引导的曝光校正网络；在使用知识蒸馏之前，首先训练两个分别针对过曝光和欠曝光校正的网络，其目标损失函数L表示为：

L＝L_s+L_r (3)

其中，L_s和L_r分别为引导通道选择损失和重建损失；

重建损失L_r表示为：

L_r＝||O-T||₁ (4)

其中，O和T分别表示为曝光校正网络的输出和相应的目标图像；

当过曝光和欠曝光校正网络训练良好时，采用知识蒸馏的方法，将过曝光和欠曝光校正的知识提取到一个统一的网络中；

在知识蒸馏方面，两个训练良好的过曝光和欠曝光校正网络是教师网络，统一的过曝光和过曝光校正网络是学生网络；对于过曝光和欠曝光校正，学生网络的特征均应与教师网络的相应特征接近；

知识蒸馏过程表示为：

L＝L_s+L_r+L_kd (5)

其中，L_kd为教师和学生网络特征之间的误差，表示为：

其中，N为所使用的特征数量，和分别表示学生网络和教师网络中的特征；用于监督学生网络中的特征；

步骤104：输入学习率、优化方法、迭代次数以及采集的真实成对数据集，根据知识蒸馏策略，对网络参数进行训练，得到过/欠曝光图像和正常曝光图像之间的映射关系f；

通过优化训练的目标函数式3和式5得到优化后的网络参数，完成曝光校正网络的训练，得到优化后的过/欠曝光图像和正常曝光图像之间的映射关系f；

步骤105：输入要测试的过/欠曝光图像，并输入步骤104得到的过/欠曝光图像和正常曝光图像之间的映射关系f；通过过/欠曝光图像和正常曝光图像之间的映射关系f，将过/欠曝光图像映射成正常曝光图像，从而实现高效率和高精度图像曝光校正，提高成像质量；

正常曝光图像为I和分别为过/欠曝光图像和正常曝光图像。

2.如权利要求1所述的相机感知特性引导的真实曝光校正方法，其特征在于，步骤101中，真实数据采集系统在拍摄时，首先调整光圈、焦距、曝光时间，以采集高质量的正常曝光图像；然后，使用控制软件，以1/100到10的倍率控制曝光时间；最后，采集欠曝光或过曝光的图像。