[发明专利]基于深度往复式HDR变换的图像校正方法

摘要

本发明属于图像校正技术领域，提供了一种基于深度往复式HDR变换的图像校正方法，整体网络包含两个子网络，分别是HDR估计网络和LDR校正网络；HDR估计网络用来预测输入LDR图像域中的HDR细节，LDR校正网络用来将HDR图像数据传递到输出LDR图像域中，得到更好的视觉效果。本发明所提出的方法在校正过程后得到的图像的视觉效果较好，并且在峰值信噪比，结构相似性，特征相似性和Q分数这四项图像校正算法评价指标上都能够得到优于目前先进算法的结果。本发明在由过曝光或欠曝光造成丢失图像细节的情况下表现出先进的校正性能。

主权项

1.一种基于深度往复式HDR变换的图像校正方法，其特征在于，该图像校正方法所用的整体网络包含两个子网络，分别是HDR估计网络和LDR校正网络；HDR估计网络用来预测输入LDR图像域中的HDR细节，LDR校正网络用来将HDR图像数据传递到输出LDR图像域中，得到更好的视觉效果；步骤如下：(1)HDR估计网络(1.1)网络输入输出：城市场景全景数据集中包含LDR图像数据和对应的真值HDR图像数据，分辨率均为64×128；使用城市场景全景数据集来训练HDR估计网络，即该HDR估计网络的输入为LDR图像数据，输出为预测的HDR图像数据；(1.2)网络结构：HDR估计网络过程简化为式(2)所示：其中，f₁代表HDR估计网络；代表HDR估计网络重建的HDR图像；I代表输入的LDR图像；θ₁是HDR估计网络的参数；HDR估计网络的网络结构是一个编码器‑解码器网络结构；编码网络用于将输入的LDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为HDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；在每个编码器层到其对应解码器层之间加入跳跃连接，以补充局部细节；同时，跳跃连接也被应用到输入LDR图像数据和输出HDR数据中；(1.3)训练方法：在HDR估计网络训练的过程中，为了克服深度卷积神经网络难以训练的弊端，批规范化操作被引入到网络训练中；同时使用ELU激活函数加快网络收敛速度；HDR估计网络中的损失函数使用均方误差损失函数，如式(3)所示：其中，i是像素索引，N代表像素总数，Y代表真值HDR图像数据；α和γ是非线性函数的两个常量，用于将真值HDR图像域转换到LDR图像域；(2)LDR校正网络(2.1)网络输入输出：将HDR估计网络的输出做反伽玛校正后的结果作为LDR校正网络的输入；由于城市场景全景数据集中缺乏真值LDR图像，所以通过使用Adobe Photoshop进行颜色和曝光度的调节用于生成对应的真值LDR图像数据集；LDR校正网络的输出是细节较为丰富的校正LDR图像；(2.2)网络结构：LDR校正网络过程简化为式(4)所示：其中，f₂代表LDR校正网络；表示校正后的LDR图像；代表HDR估计网络重建的HDR图像；θ₂是LDR校正网络的参数；为了优化HDR域的细节，对HDR估计网络的输出做反伽玛校正，表示为对公式(4)修正得到公式(5)，式中使用对数运算来压缩数值同时保留大部分细节信息；其中，log()函数用于压缩完整的HDR域以促进收敛；δ是一个用于消除零值的常量；LDR校正网络的网络结构类似于HDR估计网络，同样是一个编码器‑解码器网络结构；编码网络用于将输入的HDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为LDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；(2.3)训练方法：使用端到端训练方式，使模型适应深度往复变换过程；HDR估计网络预先进行训练，再将训练好的HDR估计网络和LDR校正网络进行整体训练；在整体训练过程中，同时使用Sun360室外全景数据集进行对整个网络进行端到端的微调；根据LDR真值图像LDR校正网络的损失函数Loss_ldr如式(6)所示，其中，∈是控制HDR重建精确度影响的平衡参数。