[发明专利]一种基于多记忆及混合损失的视频超分辨率重建方法

说明书

本发明公开了一种基于多记忆及混合损失的视频超分辨率重建方法，包括光流网络和图像重构网络两个部分。在光流网络中，对于输入的多帧，计算当前帧与参考帧之间的光流，并利用光流作运动补偿，将当前帧尽可能补偿到与参考帧相似。在图像重构网络中，将补偿后的多帧依次输进网络，网络采用多记忆残差块提取图像特征，使得后面输入帧能接收到前面帧的特征图信息。最后，将输出的低分辨率特征图进行亚像素放大，并与双立方插值放大后的图像相加，得到最终的高分辨率视频帧。训练过程采用一种混合损失函数，对光流网络和图像重构网络同时进行训练。本发明极大地增强了帧间信息融合的特征表达能力，能够重建出细节真实丰富的高分辨率视频。

技术领域

本发明属于数字图像处理技术领域，涉及一种视频超分辨率重建方法，具体涉及一种多记忆的混合损失函数约束的超分辨率重建方法。

背景技术

近年来，随着高清显示设备(如HDTV)的出现以及4K(3840×2160)和8K(7680×4320)等超高清视频分辨率格式的出现，由低分辨率视频重建出高分辨率视频的需求日益增加。视频超分辨率是指从给定的低分辨率视频重建高分辨率视频的技术，广泛应用于高清电视、卫星图像、视频监控等领域。

目前，应用最广泛的超分辨率方法是基于插值的方法，如最近邻插值，双线性插值以及双三次插值。这种方法通过将固定的卷积核应用于给定的低分辨率图像输入，来计算高分辨率图像中的未知像素值。因为这种方法只需要少量的计算，所以它们的速度非常快。但是，它们的重建效果也欠佳，特别是在重构高频信息较多的图像区域。近年来，为了找到更好的方式来重建丢失的信息，研究人员们开始致力于研究基于样本的方法，也称为基于学习的方法。最近，Dong等人率先提出基于卷积神经网络的超分辨率方法，该方法具有从众多多样化图像样本中学习细节的能力，因而备受关注。

单张图像超分辨率是指利用一张低分辨率的图像，重构出其对应的高分辨率图像。与之相比，视频超分辨率则是利用多张有关联性的低分辨率视频帧，重建出它们对应的高分辨率视频帧。除了利用单张图像内部的空间相关性，视频超分辨率更重视利用低分辨率视频帧之间的时间相关性。

传统的视频超分辨率算法利用图像先验知识，来进行像素级的运动补偿和模糊核估计，以此重建高分辨率视频。然而，这些方法通常需要较多计算资源，并且难处理高倍率放大倍数或大幅帧间相对运动的情况。

最近，基于卷积神经网络的视频超分辨率方法已经出现，这种方法直接学习从低分辨率帧到高分辨率帧之间的映射关系。Tao等人提出了细节保持的深度视频超分辨率网络，他们设计出了一种亚像素运动补偿层，将低分辨率帧映射到高分辨率栅格上。然而，亚像素运动补偿层需要消耗大量显存，其效果却十分有限。Liu等人设计了一个时间自适应神经网络，来自适应地学习时间依赖性的最优尺度，但目前只是设计了一个简单的三层卷积神经网络结构，从而限制了性能。

发明内容

为了解决上述技术问题，本发明提供了一种基于多记忆残差块和混合损失函数约束的超分辨率重建方法，在图像重构网络中插入多记忆残差块，更有效地利用帧间的时间相关性和帧内的空间相关性。并利用混合损失函数，同时约束光流网络和图像重构网络，进一步提高网络的性能，提取更真实丰富的细节。

本发明所采用的技术方案是：一种基于多记忆及混合损失的视频超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为N×N像素的图像作为高分辨率学习目标，将其下采样r倍，得到大小为M×M的低分辨率图像，作为网络的输入，其中，N＝M×r；

步骤2：将2n+1(n≥0)张时间连续的低分辨率视频图像输入光流网络，作为低分辨率输入帧，而处于中心位置的低分辨率图像帧作为低分辨率参考帧。依次计算每个低分辨率输入帧与低分辨率参考帧之间的光流，并使用光流对每个低分辨率输入帧作运动补偿，获得低分辨率补偿帧；