[发明专利]相机感知特性引导的真实曝光校正方法和系统

说明书

本发明公开了相机感知特性引导的真实曝光校正方法和系统，属于计算摄像与图像处理技术领域。本发明用于真实数据的曝光校正，根据相机感知特性设计通道引导的卷积神经网络，搭建真实成对数据采集系统。同时，设计了用于曝光校正的知识蒸馏策略，提出真实成对曝光校正数据采集系统并采集数据集，使用所采集的数据集训练曝光校正神经网络，能够高质量地完成真实图像曝光校正，提升了真实图像曝光校正质量。

技术领域

本发明涉及一种相机感知特性引导的真实曝光校正方法和系统，属于计算摄像与图像处理技术领域。

背景技术

曝光会影响拍摄图像的强度和质量。现代数码相机可以通过自动曝光方式来自动控制曝光，也可以由用户手动控制曝光，以获得合适质量的图像。然而，有一些重要因素导致引发曝光误差，包括通过镜头测量的误差、用户手动错误、亮度变化和困难的照明条件等。曝光误差发生在图像捕捉的早期，将会大大降低最终图像的对比度和视觉质量。

为了解决上述问题，技术人员研究提出了许多基于模型驱动的曝光校正技术。例如，基于直方图的方法、基于Retinex理论的方法等。近年来，利用深度学习技术数据驱动的方法取得了较好性能，此类方法学习了错误曝光和良好曝光图像之间的非线性映射函数。但是，大多数方法只处理过曝光或欠曝光的问题，限制了纠正各种曝光的实际应用。越来越多的研究开始关注解决端到端网络中曝光校正的问题。然而，这些方法不是忽略了不同先验知识学习的要求，就是只设计一个简单的模块，隐式学习各种先验知识进行过曝光和欠曝光校正。由于过曝光和欠曝光的校正过程明显不同，只校正过曝光和欠曝光是不同的。因此，用一个网络同时纠正这两种不合理的曝光是一个挑战。目前，绝大多数的数码相机传感器被设计成对绿色通道比红色和蓝色通道有更高的灵敏度，因为人眼对绿色比其他人更敏感。该相机感知特性意味着红色和蓝色通道对过曝光校正和绿色通道对欠曝光校正是更有利的。

此外，大多数现有方法在8位标准彩色图像(sRGB)上执行曝光校正，这是从RAW数据由一种高度非线性的操作生成的，即相机图像信号处理(ISP)。由于ISP的压缩和量化操作，sRGB有信息丢失，导致曝光校正的潜在瓶颈。事实上，前人的研究表明，RAW数据包含更丰富的信息，比特值更高，并且保持了曝光与场景亮度之间的线性关系，有利于图像恢复。然而，现在缺乏真实成对的RAW域曝光校正数据集。

发明内容

本发明的目的是针对现有技术中，没有真实成对曝光校正数据集，以及现有方法无法同时有效处理过曝光和欠曝光校正等技术问题，创造性地提出一种相机感知特性引导的真实曝光校正方法和系统，用于真实数据的曝光校正，根据相机感知特性设计通道引导的卷积神经网络，搭建真实成对数据采集系统，构建高质量的真实成对曝光校正数据集，训练精确的通道特性引导的曝光校正网络，能够高质量地完成真实图像曝光校正，提高成像质量。

本发明通过分析相机不同通道的感知特性，根据不同通道的不同感知特性，设计通道引导的曝光校正网络。同时，进一步设计了用于曝光校正的知识蒸馏策略，提出真实成对曝光校正数据采集系统并采集数据集，使用所采集的数据集训练曝光校正神经网络，实现了高精度图像曝光校正，提升真实图像曝光校正质量。

有益效果

本发明，对比现有技术，具有以下优点：

1.本发明搭建了一个真实数据采集系统，利用该系统采集真实成对过/欠曝光图像和正常曝光图像数据集，该数据采集系统能够高效采集真实成对曝光校正数据集，所采集数据集能够有效提升曝光校正方法在真实图像上的精度。

2.本发明根据相机不同颜色通道的感知特性，设计通道引导的曝光校正网络，采用知识蒸馏的训练策略，能够自适应地挖掘不同曝光校正任务所需的先验知识，自适应地生成调制参数，有效提升曝光校正网络对过曝光和欠曝光校正任务的建模能力。

3.本发明利用卷积神经网络学习过/欠曝光图像和正常曝光图像之间的映射关系，结合有益效果1和2能够提升卷积神经网络的泛化性，且能够提升真实图像曝光校正的质量，保证真实曝光校正图像的保真度。