[发明专利]基于深度往复式HDR变换的图像校正方法

权利要求书

1.一种基于深度往复式HDR变换的图像校正方法，其特征在于，该图像校正方法所用的整体网络包含两个子网络，分别是HDR估计网络和LDR校正网络；HDR估计网络用来预测输入LDR图像域中的HDR细节，LDR校正网络用来将HDR图像数据传递到输出LDR图像域中，得到更好的视觉效果；步骤如下：

(1)HDR估计网络

(1.1)网络输入输出：

城市场景全景数据集中包含LDR图像数据和对应的真值HDR图像数据，分辨率均为64×128；使用城市场景全景数据集来训练HDR估计网络，即该HDR估计网络的输入为LDR图像数据，输出为预测的HDR图像数据；

(1.2)网络结构：

HDR估计网络过程简化为式(2)所示：

其中，f₁代表HDR估计网络；代表HDR估计网络重建的HDR图像；I代表输入的LDR图像；θ₁是HDR估计网络的参数；HDR估计网络的网络结构是一个编码器-解码器网络结构；编码网络用于将输入的LDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为HDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；在每个编码器层到其对应解码器层之间加入跳跃连接，以补充局部细节；同时，跳跃连接也被应用到输入LDR图像数据和输出HDR数据中；

(1.3)训练方法：

在HDR估计网络训练的过程中，为了克服深度卷积神经网络难以训练的弊端，批规范化操作被引入到网络训练中；同时使用ELU激活函数加快网络收敛速度；

HDR估计网络中的损失函数使用均方误差损失函数，如式(3)所示：

其中，i是像素索引，N代表像素总数，Y代表真值HDR图像数据；α和γ是非线性函数的两个常量，用于将真值HDR图像域转换到LDR图像域；

(2)LDR校正网络

(2.1)网络输入输出：

将HDR估计网络的输出做反伽玛校正后的结果作为LDR校正网络的输入；由于城市场景全景数据集中缺乏真值LDR图像，所以通过使用Adobe Photoshop进行颜色和曝光度的调节用于生成对应的真值LDR图像数据集；LDR校正网络的输出是细节较为丰富的校正LDR图像；

(2.2)网络结构：

LDR校正网络过程简化为式(4)所示：

其中，f₂代表LDR校正网络；表示校正后的LDR图像；代表HDR估计网络重建的HDR图像；θ₂是LDR校正网络的参数；为了优化HDR域的细节，对HDR估计网络的输出做反伽玛校正，表示为对公式(4)修正得到公式(5)，式中使用对数运算来压缩数值同时保留大部分细节信息；

其中，log()函数用于压缩完整的HDR域以促进收敛；δ是一个用于消除零值的常量；

LDR校正网络的网络结构类似于HDR估计网络，同样是一个编码器-解码器网络结构；编码网络用于将输入的HDR图像数据编码为低维潜在表征，该编码网络共有6层，每层输出的特征维度分别是64、64、128、256、256和512；来自编码网络输出的低维潜在表征通过解码网络重建为LDR图像数据，解码网络有5层，每层输出的特征维度分别是256、256、128、64和64；

(2.3)训练方法：

使用端到端训练方式，使模型适应深度往复变换过程；HDR估计网络预先进行训练，再将训练好的HDR估计网络和LDR校正网络进行整体训练；在整体训练过程中，同时使用Sun360室外全景数据集进行对整个网络进行端到端的微调；

根据LDR真值图像LDR校正网络的损失函数Loss_ldr如式(6)所示，

其中，∈是控制HDR重建精确度影响的平衡参数。