[发明专利]一种基于深度残差网络的视频超分辨率重建方法

摘要

本发明公开一种基于深度残差网络的视频超分辨率重建方法，将从视频序列中的一组连续的低分辨率视频帧图像重建出其对应的一张高分辨率图像的方法，从而显著提高了视频显示效果。本发明提出的视频超分辨率算法的创新性主要体现在两个方面第一，本发明利用深度残差网络直接从低分辨率的视频图像执行初始阶段、串联卷积层计算阶段和残差块计算阶段后，逐步利用反卷积和卷积运算的方式重建出高分辨率视频图像，低分辨率视频图像不需要进行传统的双三次插值的预处理。第二，与最经典的基于深度学习的单帧和视频超分辨率重建算法相比，在利用极少训练数据的情况下，不仅在不同环境下能够有效地重建出高分辨率视频图像，而且极大地提高了视频图像显示效果。

主权项

一种基于深度残差网络的视频超分辨率重建方法，其特征在于：其包括如下步骤：步骤1，将把高分辨率视频序列中的当前帧视为关键帧，然后再取关键帧的前面T帧和后面T帧。因此，视频序列中的一组高分辨率视频图像包含2T+1帧，索引t∈{‑T,‑T+1,…,0,…T‑1,T}；步骤2，将通过步骤1所获得的一组高分辨率视频图像以缩放比例S生成其一一对应的一组2T+1帧低分辨率视频图像序列当前帧的低分辨率视频图像为步骤3，将利用CLG‑TV光流模型算法计算所有低分辨率视频图像序列与当前帧视频图像之间的光流速度矢量，获得运动补偿后的2T帧低分辨率视频图像和当前帧的低分辨率视频图像索引t∈{‑T,‑T+1,…,T‑1,T}；步骤4，利用低分辨率视频图像分别执行初始阶段、串联卷积层计算阶段、残差块计算阶段和反卷积计算阶段，最终获得一幅其对应的高分辨率视频图像Fl′(Y)；所述步骤4具体包括以下步骤：步骤4.1，初始阶段：输入的低分辨率视频图像进行卷积运算和激活函数运算得到其对应的第1层输出结果其计算公式是：其中W1，t和B1，t分别是第一层t帧的卷积权值参数和偏置参数；步骤4.2，串联阶段：将把所有的初始阶段输出结果串联成一个卷积特征层F1(Y)，其计算公式是：步骤4.3，残差计算阶段：残差计算阶段由多个残差运算块组成，每个残差运算块的计算公式是：其中Wl1和Wl2分别是是第l层的第1个和第2个卷积权值参数，和分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl‑1(Y)分别是第l层和l‑1层的输出结果，第l‑1层的输出结果，Fl‑1(Y)是通过跳跃连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；步骤4.4，反卷积计算阶段：其计算公式是：Fl′(Y)＝Wl+3*max(Wl+2*max(Wl+1*Fl(Y)+Bl+1,0)+Bl+2,0)+Bl+3  (4)其中Wl+1和Bl+1分别是第l+1卷积层的卷积权值参数和偏置参数，Wl+2和Bl+2分别是第l+2反卷积层的卷积权值参数和偏置参数，Wl+3和Bl+3分别是第l+3卷积层的卷积权值参数和偏置参数，Fl′(Y)是本发明重建的高分辨率视频图像；步骤5，利用重建的高分辨率视频图像Fl′(Y)将与步骤1的高分辨率视频序列中所对应的的当前帧视频图像进行比较，计算两幅视频图像之间的欧式距离；步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；当重建的所有高分辨率视频图像与其对应的高分辨率视频图像进行比较时已经获得预先设定的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。