[发明专利]一种基于高效时空信息融合的视频比特增强方法

说明书

本发明公开了一种基于高效时空信息融合的视频比特增强方法，包括：构建基于高效时空信息融合的视频比特深度增强网络；在训练阶段，将训练集的低比特视频序列通过零填充增强到高比特视频序列，将粗糙的高比特深度视频序列输入深度增强网络，输出为重建后的高比特深度中间帧，训练期间采用均方误差损失函数，并采用Adam优化器训练网络；在测试阶段，将粗糙的高比特深度视频序列送入加载好训练后的模型参数的网络中，采用客观图像质量评价对重建的高比特深度中间帧的质量进行评估。本发明可以得到较高质量的输入视频序列的高比特深度中间帧。

技术领域

本发明涉及视频比特增强领域，尤其涉及一种基于高效时空信息融合的视频比特增强方法。

背景技术

在这个全球信息数字化的时代，图片和视频作为一种数据承载方式其数据量在呈指数级增长。图像和视频相较于文字可以传递更多的信息。在对图像和视频探索的过程中，人们一直致力于研究如何提高图像和视频的质量以提高人类的视觉感官体验。传统的摄录设备和显示器大多是标准动态范围(Standard Dynamic Range，SDR，又被称作低动态范围)，每个通道的像素点只采用8比特的位深来表示，因此只能展示256种不同的灰度级，这远远低于人眼所能看到的自然界实际的色彩范围。低动态范围的图像和视频并不能展现出自然界的真实色彩，使图像与人眼所看到的实际景色有差别。为了追求更高的多媒体质量和更好的视觉体验，人们提出了高动态范围(High-Dynamic Range，HDR)这一技术。高动态范围采用了更多的比特位数(通常为10位或者12位)来表示一个像素，可以展现出更丰富的色彩，更多的细节以及更细腻的颜色过渡。因此，高动态范围所展现的图像和视频更加接近人眼所观察到的自然世界，对人类的视觉感官体验有着极大的促进作用。

目前，随着技术的发展，市场上出现了越来越多的HDR显示器，HDR显示器也受到了人们的青睐。当低比特深度的图像和视频经过简单的转换显示在HDR这种高比特显示器上显示时，会出现伪轮廓以及色彩失真等对人类视觉不友好的现象。因此，对低比特的图像和视频进行比特深度增强重建为高比特深度图像和视频对提高人类视觉体验具有非常重要的价值和意义。

早期的比特深度增强方法都是基于手工设计的滤波器，不仅耗时，而且对伪轮廓和色彩失真等现象的消除效果也不好。近年来，深度学习在计算机视觉领域取得了较传统算法优秀的效果，表现出了强大的学习能力和对任务的自适应能力。基于深度学习的比特增强方法也同样取得了较好的性能，比如基于卷积神经网络的图像比特深度增强算法(Bit-Depth Enhancement via Convolutional Neural Network,BE-CNN)^[1]和通过级联DNN所有层次特征图的比特深度增强算法(BE-CALF:Bit-depth Enhancement byConcatenating All Level Features of DNN)^[2]等。总的来说，现有的比特深度增强方法大都是针对图像进行比特增强，很少有针对视频的比特深度增强方法。图像比特深度增强方法是通过探索图像自身的空间信息完成对高比特深度图像的重建，而视频是由一系列连续的视频帧组成的，邻近视频帧之间大都拥有相似的场景和内容。如果将图像比特增强方法应用于视频，不仅不能充分利用邻近帧的冗余信息帮助当前帧的重建，还会产生帧间闪烁等现象。

因此，视频比特深度增强方法旨在利用邻近帧的信息去帮助当前帧的重建，产生更高质量的高比特深度视频序列。

发明内容

本发明提供了一种基于高效时空信息融合的视频比特增强方法，本发明构造了时空信息融合模块，并在时空信息融合模块中引入了时间注意力机制来挖掘输入视频序列中有用的时空信息。通过将多个时空信息融合模块串联堆叠，可以逐层递进地对时序信息进行挖掘和融合。本发明可以得到较高质量的输入视频序列的高比特深度中间帧，详见下文描述：

一种基于高效时空信息融合的视频比特增强方法，所述方法包括：

构建基于高效时空信息融合的视频比特深度增强网络；