[发明专利]一种基于深度残差网络的视频超分辨率重建方法

说明书

技术领域

本发明属于视频超分辨率领域，尤其涉及一种基于深度残差网络的视频超分辨率重建方法。

背景技术

视频超分辨率重建是一种将视频序列中的一组连续的低分辨率视频帧图像重建出其相应的一张高分辨率图像的技术。随着终端的显示设备分辨率的不断提升，该技术在视频在线直播，高清电视视频以及高清电影制作等领域具有广泛的应用前景。

在实际应用环境中，由于受网络带宽和视频流传输设备的性能限制，即使终端设备可支持超高清(UHD,Ultra High Definition)或高清(HD,High Definition)的图像/视频的显示，也无法正常接收并显示超高清或高清图像/视频。因此，为了更好的在终端设备中流畅的正常的接收视频流信息，只能根据视频内容的质量降低原视频流的分辨率和适当调整视频码率，从而传输的图像/视频往往会出现模糊的现象。

为了解决此现象，传统的解决方案是将一组连续的低分辨率视频帧图像通过线性插值的方法重建出一张高分辨率图像，从而达到放大的显示效果。中国公开专利“一种基于联合运动估计与超分辨率重建的图像重建方法”(公开号CN102194222A，公开日为2011.09.21)采用了一种基于运动估计和图像超分辨率重建算法，先把低分辨率图像进行插值放大，然后将计算运动估计后对图像进行融合，再将把融合后的图像进行去燥处理后得到高分辨率图像。中国公开专利“基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法”(公开号CN106157249A，公开日为2016.11.23)采用了一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法，先利用双立方插值算法低分辨率图像进行放大，再将提取图像的方向梯度特征，然后利用字典学习算法训练高/低分辨率图像特征的对应关系。但是这些方法本质上并不能有效地提高图像的清晰度。因此，为了更好地显示高分辨率视频图像的细节特征，Dong等人将利用基于深度学习的3层卷积神经网络从单张低分辨率图像重建出其对应的超分辨率图像的方法^[1]。但是该图像超分辨率重建方法忽视了视频序列中的帧与帧之间的相关性和互补信息。

为了提高视频超分辨率的重建效果，近年来，学术界开始利用深度学习的方法从视频序列中的连续的一组低分辨率视频帧图像重建出其相应的一张高分辨率视频图像。目前基于深度学习的视频超分辨率有以下较具代表性的方法：Kappeler等人提出先利用CLG-TV光流模型算法(Combined Local-Global with Total Variation)^[5]计算视频流中的一组连续的低分辨率图像光流速度矢量，从而获得其一一对应的运动补偿(Motion compensation)后的一组视频低分辨图像，然后利用基于深度学习的3层卷积神经网络从运动补偿后的一组低分辨率图像重建出其对应的一张高分辨率图像^[2]。其后，为了将进一步提高Kappeler等人的超分辨率重建效果，借鉴Kim等人提出图像超分辨率的算法^[6]，Li等人利用跳跃链接(Skip connection)的方式把当前帧的视频图像信息与深度卷积神经网络中的最后一层卷积层进行相加^[3]。中国公开专利“基于双向循环卷积网络的视频超分辨率方法和系统”(公开号CN105072373A，公开日为2015.11.18)采用了一种基于双向循环卷积网络(BRCN:Bidirectional Recurrent Convolutional Networks)的视频超分辨方法，该算法中包括了前向循环子网络和后向循环子网络，每个子网络又包括自底向上的循环子网络。其后，Huang等人改进了基于双向循环卷积神经网络的视频超分辨率算法，该算法中只包含前向循环子网络和后向循环子网络^[4]。

虽然相关研究已经取得了较好的视频超分辨率重建效果，但有些时候由于视频内容比较复杂，使其重建效果并不令人满意，甚至会出现视频图像亮度失真等现象。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于深度残差网络的视频超分辨率重建方法，将视频序列中的一组连续的低分辨率视频帧图像重建出其对应的一幅高分辨率图像的方法，显著提高了视频显示的效果。

本发明采用的技术方案是：

一种基于深度残差网络的视频超分辨率重建方法，其包括如下步骤：