[发明专利]基于信息构建和多密集残差块的循环视频超分辨率方法

说明书

本发明为基于信息构建和多密集残差块的循环视频超分辨率方法，该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得序数靠前的循环神经网络有足够的信息去重建靠前帧，同时利用多密集残差块提取代表深层次信息的特征，在循环神经网络中以隐藏状态的方式进行传播；包括以下内容：对视频数据进行预处理，获得对应的低分辨率帧序列；构建信息构建模块，输入为前m帧低分辨率帧序列，输出为初始的隐藏信息h₀和初始的预输出信息o₀；构建多密集残差块的循环神经网络，将信息构建模块的两个输出输入到多密集残差块的循环神经网络中，得到超分辨率帧序列。可以胜任在线超分辨率任务。

技术领域

本发明的技术方案涉及视频的超分辨率重建，具体地说是基于信息构建和多密集残差块的循环视频超分辨率方法。

背景技术

随着5G时代的到来，视频逐渐代替图像成为互联网传输的主流信息，越来越多的超高清视频数据正在悄无声息的改变着人们的生活。然而，对于应用厂商，如何将这些大量的高清视频快速、清晰的传递到用户的手中无疑成为了需要解决的问题。高质量视频往往经过压缩编码后在通道中传输，传输到终端后进行解码。但是这个过程是有损的，部分像素可能在编解码时发生丢失，抑或在传输过程中丢失，导致解码后的视频质量大大下降，影响用户体验。超分辨率技术是通过计算和填补缺失信息将低分辨率视频修复还原成高分辨率视频的一种方法，将解码后的视频经过超分辨率算法处理，可以提升视频的质量，从而缓解在编解码和传输过程中的质量损伤。

与单帧图像的超分辨率方法不同，视频数据是由连续帧组成的，如何充分利用时空信息是恢复视频细节的关键问题。传统的基于重建和学习的超分辨率方法对于超高清视频的修复效果并不理想，现有的单向循环神经网络的视频超分辨率方法在靠前帧的重建时由于无法获取到丰富的细节信息，使得它们对初始帧的重建效果极差，极大的影响超分辨率的效果和用户体验度。双向循环神经网络的方法无法及时的输出重建完毕的视频帧，在视频传输等应用领域受到了极大的限制。如CN111587447A公开了一种帧循环视频超分辨率方法，该方法通过利用显示的运动估计和光流方法对当前待处理的帧进行扭曲和运动补偿来挖掘时间信息然后进行递归和迭代，从而实现超分辨率重建，该方法的缺点是：这种显示的运动补偿方法很依赖运动估计所计算出的光流的精度，一旦光流的计算出现偏差，则会导致严重的伪影和失真问题，从而严重的影响超分辨率的结果。CN109102462A公开了一种基于深度学习的视频超分辨率重建方法，该方法先使用双向循环网络进行前后向特征提取，再使用深度3D反向投影对时空信息进行整合。该方法的缺点是：双向循环网络需要先对所有视频帧进行计算才能进一步输入到下一个模块，这使其在视频超分辨率任务中不能做到在线处理，在对时空信息进行整合时使用大量的3D卷积会使计算复杂度大大增加，加重计算负担，并且这样先提取再整合的分离式的方法无法复用所生成特征信息，使得计算效率大大降低，特别是在当处理较高分辨率或较多帧的视频时，不仅时间长，还对内存要求高。CN111260560A公开了一种融合注意力机制的多帧视频超分辨率方法，该方法连接3D卷积特征对齐模块和变形卷积特征对齐模块一起作为隐式对齐模块，再使用多个加入空间及通道注意力机制的残差块进行特征重建。该方法的缺点是：首先，3D卷积特征对齐模块和变形卷积特征对齐模块均为用时超高的模块，会使计算参数量大大提升，大大延长了超分辨率时间，严重影响超分辨率过程的效率。其次，该方法在使用残差块进行特征重建时，残差块生成的局部特征不能有效的反复利用，浪费了计算资源，添加的注意力机制利用在特征重建上影响甚微，反而会增加计算负担。

发明内容

针对现有技术的不足，本发明所要解决的技术问题是：提供基于信息构建和多密集残差块的循环视频超分辨率方法，该方法利用信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得靠前的循环神经网络有足够的信息去重建靠前帧，克服了单向循环神经网络方法在靠前帧的重建效果不佳的缺陷，相比双向循环神经网络减小了内存占用和计算开销，并且可以胜任在线超分辨率任务；利用多密集残差块提取和整合深层次信息的特征，并在循环神经网络中以隐藏状态的方式进行传播，克服了现有技术对时空信息整合不足的缺陷。