[发明专利]一种迭代协作的视频超分辨率重构方法及系统

说明书

本发明属于计算机视觉领域，具体涉及一种迭代协作的视频超分辨率重构方法及系统，该方法包括：输入低分辨率视频帧序列，提取其特征图；将提取的特征图分别输入对齐网络和分频重构网络，得到时间特征图和空间特征图；利用时空残差融合模块将时间特征图和空间特征图进行融合，得到时空特征图；将得到的时空特征图再次输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；迭代数次直到得到无冗余的时空特征图；将低分辨率视频序列进行上采样后与无冗余的时空特征图相加得到高分辨率图；本发明引入迭代协作网络、分频重构网络和时空残差融合，达到了减小了对齐误差和提升视频超分辨率重构性能的目的。

技术领域

本发明属于计算机视觉领域，具体涉及一种迭代协作的视频超分辨率重构方法及系统。

背景技术

根据视频帧是否对齐，现有的视频超分辨重建技术方法可分为两大类：非对齐方法和对齐方法。第一种非对齐方法是将低分辨率视频帧直接送入卷积神经网络，在空间上进行特征提取、融合和重构，使网络自己来利用帧内的时间信息，例如，VSRResNet、FCVSR和3DSRnet。虽然这种方法使用简单的操作完成了视频超分辨率任务，但是非对齐方法不能充分利用帧内的相关性，这限制了视频超分辨重建技术的性能。为了缓解这个问题，第二种对齐方法在进行融合和重构之前先将相邻帧与目标帧对齐。但是，由于现有的方法都是在低分辨率中进行帧对齐，从而引起了对齐误差，如果没有处理好这样的对齐误差，它就会在融合模块和重构模块中放大，最终影响视频超分重构的性能；在早期是通过计算目标帧与相邻帧之间的光流来进行对齐操作，其中的光流估计严重影响着视频重建的质量，而光流估计本身也是个具有挑战性的任务。随后，TDAN首次使用了可变形卷积来处理时间对齐的问题，但是这种方法也会产生对齐误差，从而影响后面的融合、重构模块，最终影响视频超分辨率技术的性能。

发明内容

为解决上述问题，本发明提供了一种迭代协作的视频超分辨率重构方法，本发明通过在对齐网络和重构网络中进行多任务的迭代协作，将重构后的特征图输入到对齐网络中，对齐后的特征图输入到重构网络中，以此来得到时空特征图。通过这样的网络缓解了对齐误差的问题，最终提升了视频超分辨的性能。该方法包括以下步骤：

S1、输入低分辨率视频帧序列，提取其特征图；

S2、将提取的特征图同时输入到对齐网络，得到时间特征图；

S3、将提取的特征图同时输入到重构网络，得到空间特征图；

S4、预置迭代最大次数为N，令迭代次数为i，i＝1，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到第i时空特征图；

S5、将第i时空特征图和低分辨率视频帧特征图输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合，得到第i+1时空特征图，判断迭代次数i是否小于N-1；若是，则进入步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S6、令i＝i+1，将第i时空特征图和第i-1时空特征图输入对齐网络和分频重构网络，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；

S7、得到时空残差模块的输出结果，即第i+1时空特征图，判断迭代次数i是否小于N-1，若是，则返回步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S8、将得到的时空特征图送入残差块，残差模块获取的特征图先后进行两次精炼操作，每次精炼操作先将特征图进行卷积并在卷积后进行上采样，将将进行精炼操作后的特征图与上采样后的低分辨率视频帧相加得到高分辨率图。

进一步的，输入低分辨率视频帧序列中提取多帧特征图，每一帧特征图都是目标帧，若共有T帧，当第t帧为目标帧时，t≤T，视频帧序列中提取的其他帧特征图为第t帧的相邻帧。