[发明专利]一种基于动态重建的多分支视频超分辨率方法及系统

说明书

本发明公开了一种基于动态重建的多分支视频超分辨率方法及系统，方法包括以下步骤：S1、以7个帧为单位作为一个输入数据；S2、分别通过第一分支、第二分支和第三分支得到一个特征图；S3、将三个特征图进行大小调整得到大小调整后的数据；S4、进行维度调整得到维度调整后的数据；S5、根据维度调整后的数据获取权重；S6、将每个分支生成的特征图和对应的权重相乘，并将三个相乘结果之和作为目标特征图；S7、将目标特征图进行子像素卷积上采样，完成视频超分辨率。本发明采用多分支的网络结构，并且分支之间的信息传递充分利用了不同大小的特征图之间的信息依赖关系，最终使神经网络的性能有较大的提升，且计算成本小。

技术领域

本发明属于图像处理领域，具体涉及一种基于动态重建的多分支视频超分辨率方法及系统。

背景技术

超分辨率指将低分辨率图像转换为高分辨率的过程，过去几年超分辨率问题在计算机视觉领域引起了越来越多的关注，并且有许多模型在单图像超分辨率方向取得了非常不错的效果，例如DBPN(Deep Back-Projection Networks)，该方法使用了一种迭代地计算上采样和下采样投影误差的错误反馈机制，对重建过程进行引导以得到更好的结果。RDN(Residual Dense Networks)，堆叠多个残差稠密块，提出了一个残差稠密网络，充分利用网络中各个层级的特征。RCAN(Residual Channel Attention Networks)则发现之前的网络中的特征包含有多余的低频信息，但是网络对于所有信息是同等对待的，从而限制了网络的表达能力。

与单图像超分辨率相比，视频超分辨率得到的关注较少，同时也是一个更复杂的问题。随着二维卷积神经网络网络的发展，目前的神经网络在单张图像重建的问题上取得了非常优秀的结果。但是，同时也有许多著作如[1]、[2]直接证明了，如果使用普通的单张图片超分辨率网络进行视频超分辨率，产生的结果不会很好。因此，在视频超分辨率中一个非常重要的任务就是如何利用帧与帧之间的时间关系，从而进行视频的重建。

现有的一个提取时间信息的方法是利用光流算法(Optical flow algorithm)实现实际视频帧的估算和运动补偿。这种方法首先计算光流从而估算输入的图片序列当中的运动场。估算出的运动场会被用来完成最终高分辨率视频的重建，如文献[3]中提出的网络VESPCN(Video Efficient Sub-Pixel Convolutional Neural Network)就是通过光流算法进行运动补偿。然而，光流算法存在一定程度的不确定性，这些误差会被引入到各个帧当中，最终损害到之后的超分辨率过程。除此之外，光流算法在整个算法中也是一个独立的模块，这会带来额外的计算开销，同时也会影响网络端到端的训练过程。因此，在视频超分辨率的过程中，光流算法的引入会带来不小的有害影响。然而无论使用或者不使用光流算法，之前的神经网络模型都是传统的二维卷积神经网络，并不能完全解决时间信息难以利用的问题，最终导致模型的性能不佳。所以，三维卷积神经网络被引入到视频处理领域，使视频超分辨率模型得到了快速的发展。例如C3D(Convolution 3D)模块以及文献[4]中提出的FRB(Fast Residual Block)模块，C3D模块是最原始的三维卷积模块与残差连接的结合，而FRB模块则是针对C3D模块的一个改进。然而这些三维卷积通常会消耗巨大的计算成本。所以，如何利用有限的计算资源进行有效的视频超分辨率仍是一个有待解决的问题。其中，文献[5]提出了TDAN(Temporally Deformable Alignment Network)，利用可变形卷积模块组成了网络，自适应的给当前帧和相邻帧做对齐：动态估计像素/特征空间上的偏移。

参考文献：

[1]A.Kappeler,S.Yoo,Q.Dai,and A.K.Katsaggelos,“Video super-resolutionwith convolutional neural networks,”IEEE Trans.Computational Imaging,pp.109–122,2016.