[发明专利]一种基于自编码机的HDR单帧合成方法

权利要求书

1.一种基于单帧合成的用于生成HDR视频的方法，其特征在于，所述方法包括：

将LDR视频文件逐一抽帧；

将每个LDR视频帧分别输入伪高曝生成模型和伪低曝生成模型以分别取得相应编码器输出的高曝特征向量和低曝特征向量，其中所述伪高曝生成模型和所述伪低曝生成模型被用于分别生成输入图像所对应的高曝图像和低曝图像；

将所取得的高曝特征向量和低曝特征向量输入多曝光图片融合模型以得到经处理的HDR视频帧，其中所述多曝光图片融合模型利用卷积神经网络进行特征提取，将对应特征向量进行融合，并且利用反卷积网络重建输入图像；以及

将经处理的多个HDR视频帧重新组合成HDR视频。

2.如权利要求1所述的方法，其特征在于，所述伪高曝生成模型和所述低曝生成模型利用卷积神经网络将输入图像进行下采样以提取图像特征并且利用反卷积网络将图像特征上采样以分别生成所述输入图像所对应的高曝图像和低曝图像。

3.如权利要求1所述的方法，其特征在于，所述伪高曝生成模型和所述低曝生成模型是通过以下方式来训练得到的：

对所述伪高曝生成模型和所述低曝生成模型进行权值初始化；

使用一批RAW格式HDR图像生成的低曝、高曝和正常曝光图像作为数据集进行训练，其中正常曝光图像作为所述伪高曝生成模型和所述伪低曝生成模型的输入数据，高曝图片和低曝图像分别作为所述伪高曝生成模型和所述伪低曝生成模型的目标输出(groundtruth)；

所述输入数据经过所述伪高曝生成模型和所述低曝生成模型得到实际输出数据；以及

使用图像结构相似度计算函数SSIM作为损失函数来对所述伪高曝生成模型和所述低曝生成模型进行优化。

4.如权利要求1所述的方法，其特征在于，所述多曝光图片融合模型是通过以下方式来训练得到的：

对所述多曝光图片融合模型进行权值初始化；

使用所述高曝特征向量和所述低曝特征向量作为输入，对应的HDR原图作为所述多曝光图片融合模型的目标输出(ground truth)进行训练；

所述输入数据经过所述多曝光图片融合模型得到实际输出数据；以及

使用图像结构相似度计算函数SSIM作为损失函数来对所述多曝光图片融合模型进行优化。

5.如权利要求1所述的方法，其特征在于，所述特征提取进一步包括：

所述多曝光图片融合模型利用卷积神经网络来对所取得的高曝特征向量和低曝特征向量进行特征提取，其中所述高曝特征向量和所述低曝特征向量的对应卷积层共用相同的权重信息。

6.一种基于单帧合成的用于生成HDR视频的系统，其特征在于，所述系统包括：

视频预处理模块，所述视频预处理模块被配置成将LDR视频文件逐一抽帧；

伪曝光生成模块，所述伪曝光生成模块被配置成将每个LDR视频帧分别输入伪高曝生成模型和伪低曝生成模型以分别取得相应编码器输出的高曝特征向量和低曝特征向量，其中所述伪高曝生成模型和所述伪低曝生成模型被用于分别生成输入图像所对应的高曝图像和低曝图像；

多曝光图片融合模块，所述多曝光图片融合模块被配置成将所取得的高曝特征向量和低曝特征向量输入多曝光图片融合模型以得到经处理的HDR视频帧，其中所述多曝光图片融合模型利用卷积神经网络进行特征提取，将对应特征向量进行融合，并且利用反卷积网络重建输入图像；以及

视频重构模块，所述视频重构模块被配置成将经处理的多个HDR视频帧重新组合成HDR视频。

7.如权利要求6所述的系统，其特征在于，所述伪高曝生成模型和所述低曝生成模型利用卷积神经网络将输入图像进行下采样以提取图像特征，并且利用反卷积网络将图像特征上采样以分别生成所述输入图像所对应的高曝图像和低曝图像。