[发明专利]一种基于自编码机的HDR单帧合成方法

说明书

本发明提供了一种基于自编码机的HDR单帧合成的用于生成HDR视频的方法和系统。方法包括：将LDR视频文件逐一抽帧；将每个LDR视频帧分别输入伪高曝生成模型和伪低曝生成模型以分别取得相应编码器输出的高曝特征向量和低曝特征向量，其中所述伪高曝生成模型和所述伪低曝生成模型被用于分别生成输入图像所对应的高曝图像和低曝图像；将所取得的高曝特征向量和低曝特征向量输入多曝光图片融合模型以得到经处理的HDR视频帧，其中所述多曝光图片融合模型利用卷积神经网络进行特征提取，将对应特征向量进行融合，并且利用反卷积网络重建输入图像；以及将经处理的多个HDR视频帧重新组合成HDR视频。

技术领域

本发明涉及人工智能及图像处理领域，更具体地，涉及基于自编码机的HDR单帧合成方法。

背景技术

在图像领域中，动态范围(Dynamic Range)指在图像可显示范围内最大灰度值与最小灰度值之间的比率。对于真实世界中的自然场景，从直射的太阳光到树下的阴影，最亮的光照亮度与最暗光照亮度的比值大约有10⁴个数量级。

高动态范围(High-Dynamic Range，简称HDR)视频与低动态范围(Low-DynamicRange，简称LDR)视频相比，能够更加准确的记录真实场景的绝大部分色彩和光照信息，并能表现出丰富的色彩细节和明暗层次，而且能够提供更高的对比度、更丰富的信息和更真实的视觉感受。

近年来支持高动态范围的显示设备越来越多，同时随着通讯技术的发展，HDR视频的带宽压力也将不再是问题，但国内HDR视频源的数量依然有限，不管是影视作品还是电视节目，大都是低动态范围的视频，与越来越先进的显示设备相比，视频源的质量不能满足用户对更好观看体验的要求。目前虽然已经有能够直接拍摄HDR的拍摄设备，但因为成本原因，大部分HDR图片都是通过多帧不同曝光的LDR图片计算融合的，传统方法是经过纯数学方法对多曝光图片进行图片配准和融合计算，近年来也有以DeepFusion为代表的基于深度学习方法的HDR多曝光合成算法出现，以上方法在拍摄目标静止时有很好的效果，但是当拍摄目标有明显移动时，多曝光合成会面临鬼影(Ghosting)问题。当前HDR相关研究多集中在去鬼影(de-Ghosting)问题。

中国专利申请“一种适用于LDR视频的HDR视频生成方法”(CN106506983B)提出了一种适用于LDR视频的HDR视频生成方法，该专利将一个正常曝光的图像转化为有着不同亮度的伪曝光图像，再通过金字塔算法求出对于LDR视频帧对应的HDR图像。但该专利使用的是纯数学方法计算，平均亮度控制参数、对比度测量因子C、饱和度测量因子S、曝光度测量因子E等参数均是人工设定，在处理不同的LDR视频源时，算法的稳定性难以保证。

中国专利申请“一种基于块匹配动态估计去鬼影的高动态范围视频合成方法”(CN106131443A)提出了一种基于块匹配动态估计算法去鬼影的高动态视频合成方法，该专利使用块匹配方法，从输入的图片序列中选定参考帧和当前帧，进行灰度化处理后采用ARPS3块匹配算法计算出当前帧的运动向量，并基于运动向量来检测当前帧和参考帧各自的运动区域，对特定图像的运动区域进行合并，得到最终的HDR图像即视频帧。该专利的高动态视频合成方法通过运动估计对鬼影区域进行检测，并通过融合算法去除鬼影合成HDR视频帧。但该专利仅适用于视频拍摄时的HDR视频合成，不能用于已有的LDR视频和HDR视频。

现有的LDR视频合成HDR视频的算法中的算子都是手工设定的，而视频源由于拍摄器材和色彩风格的不同，其饱和度、照度、对比度等色彩信息都有区别，基于纯数学方法的手工算子在处理这些风格不同的视频时，算法的效果不稳定，需要对每个视频进行单独调参才能获得预期效果，效率低下。因此，为了大大提升将LDR视频转换成HDR视频的稳定性和效率，希望提供一种改进的HDR单帧合成方法。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。