[发明专利]一种基于多记忆及混合损失的视频超分辨率重建方法

摘要

本发明公开了一种基于多记忆及混合损失的视频超分辨率重建方法，包括光流网络和图像重构网络两个部分。在光流网络中，对于输入的多帧，计算当前帧与参考帧之间的光流，并利用光流作运动补偿，将当前帧尽可能补偿到与参考帧相似。在图像重构网络中，将补偿后的多帧依次输进网络，网络采用多记忆残差块提取图像特征，使得后面输入帧能接收到前面帧的特征图信息。最后，将输出的低分辨率特征图进行亚像素放大，并与双立方插值放大后的图像相加，得到最终的高分辨率视频帧。训练过程采用一种混合损失函数，对光流网络和图像重构网络同时进行训练。本发明极大地增强了帧间信息融合的特征表达能力，能够重建出细节真实丰富的高分辨率视频。

主权项

1.一种基于多记忆及混合损失的视频超分辨率重建方法，其特征在于，包括以下步骤：步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为N×N像素的图像作为高分辨率学习目标，将其下采样r倍，得到大小为M×M的低分辨率图像，作为网络的输入，其中，N＝M×r；步骤2：将2n+1张时间连续的低分辨率视频图像输入光流网络，作为低分辨率输入帧，而处于中心位置的低分辨率图像帧作为低分辨率参考帧；依次计算每个低分辨率输入帧与低分辨率参考帧之间的光流，并使用光流对每个低分辨率输入帧作运动补偿，获得低分辨率补偿帧；其中，n≥0；步骤3：将低分辨率补偿帧输入图像重构网络，利用多记忆残差块进行帧间信息融合，得到残差特征图；步骤4：采用混合损失函数，对光流网络和图像重构网络同时进行约束，并进行反向传播学习；步骤5：将步骤3中得到的残差特征图放大，获得高分辨率残差图像，并将参考帧放大，获得高分辨率插值图像；步骤6：将步骤5中得到的高分辨插值图像与高分辨率残差图像相加，得到超分辨率视频帧。