[发明专利]视频高动态范围反色调映射模型构建、映射方法及装置

说明书

本发明提供一种视频高动态范围反色调映射模型构建方法，包括：将原始高动态范围视频剪切为多个高动态范围视频，频转化为标准动态范围视频，与高动态范围视频组成有监督的数据集，作为后续的训练数据集；建立基于三维卷积神经网络和跳跃式连接的视频生成网络；对所述视频生成网络建立由空间特征、时域特征、本征特征和感知特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到最终网络模型。本发明还提供了对应的构建装置，以及视频高动态范围反色调映射方法。本发明改善视频闪烁问题，并考虑到高动态范围视频的空间特性，本征特性以及时域特性，更好地实现了对高动态范围视频的反色调映射。

技术领域

本发明涉及一种视频处理技术领域的方法，具体是一种视频高动态范围反色调映射模型构建方法及装置，以及利用构建的模型进行映射的方法。

背景技术

在当今的电视显示和拍摄技术领域里，高动态范围(HDR)无疑是一大趋势，超高清电视(UHD TV)标准也将高动态范围技术纳入其中。高动态范围技术从亮度和颜色两方面提升了图像与视频的观看体验。在高动态范围的作用下，图像与视频的全局与局部对比度相比传统图像与视频有很大程度的提升，在明亮区域以及阴暗区域的细节也能得到提升。与此同时，画面的颜色范围也会被扩大，由应用广泛的标准色域BT.709标准扩大至广色域BT.2020标准。亮度是高动态范围的关键：市面上大多数的电视亮度在400尼特左右，部分机型达到了750尼特。但高动态范围电视的最高亮度可达1000尼特，亮度的提升可让场面显得更加真实，特别是户外场景。由于高动态范围内容的拍摄要求和拍摄代价极高，很难通过直接拍摄制作大量的高动态范围内容，因此利用现有的标准动态范围内容制作高动态范围内容成为一个很有价值的方向，这种转换被成为反色调映射。

现有的基于学习的图像反色调映射方法应用到视频上面时会产生闪烁的现象，极大地影响了观看的体验。

本申请人之前申请的发明专利：基于生成对抗网络的高动态范围反色调映射方法及系统，申请号：201810299749.9，通过采用基于卷积神经网络和跳跃式连接的生成对抗网络，改善了现有的非学习方法的非线性不足、参数调节复杂等问题，并考虑到高动态范围图像的一维特性和梯度特性。但是上述专利没有考虑闪烁现象等，需要通过对视频连续的帧之间进行时域约束来减小闪烁的现象。

发明内容

本发明针对现有的反色调映射技术的缺陷，提供一种基于三维卷积网络的视频高动态范围反色调映射方法，该方法通过三维卷积网络约束视频的时域信息，消除了闪烁现象，有更好的视觉效果。

本发明的第一目的是提供一种视频高动态范围反色调映射模型构建方法，包括：

将原始高动态范围视频剪切为多个高动态范围视频，将所述高动态范围视频转化为标准动态范围视频，所述标准动态范围视频与所述高动态范围视频组成有监督的数据集，作为后续的训练数据集；

建立基于三维卷积神经网络和跳跃式连接的视频生成网络；

对所述视频生成网络建立由空间特征、时域特征、本征特征和感知特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到能完成反色调映射的网络模型。

优选地，所述数据集中部分还可以作为验证数据集，将所述验证数据集输入至所述能完成反色调映射的网络模型，映射得出高动态范围视频，用于评估。

优选地，所述有监督的数据集，建立时：

将所述原始高动态范围视频按场景截取为数个短的所述高动态范围视频；

将所述高动态范围视频分块切割成低分辨率的短视频，将高动态范围的所述短视频映射为标准动态范围视频，形成有监督训练对，用于后续训练或验证。

优选地，将高动态范围的所述短视频映射为标准动态范围视频，其中：使用Reinhard色调映射算法实现。