[发明专利]一种迭代协作的视频超分辨率重构方法及系统

权利要求书

1.一种迭代协作的视频超分辨率重构方法，其特征在于，迭代协作的视频超分辨率重构方法引入迭代协作网络，迭代协作网络包括分频重构网络、对齐网络和时空残差融合三个模块，该方法包括：

S1、输入低分辨率视频帧序列，提取其特征图；

S2、将提取的特征图输入到对齐网络，得到时间特征图；

S3、将提取的特征图输入到重构网络，得到空间特征图；

S4、预置迭代最大次数为N，令迭代次数为i，i＝1，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到第i时空特征图；

S5、将第i时空特征图和低分辨率视频帧特征图输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合，得到第i+1时空特征图，判断迭代次数i是否小于N-1；若是，则进入步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S6、令i＝i+1，将第i时空特征图和第i-1时空特征图输入对齐网络和分频重构网络，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；

S7、得到时空残差模块的输出结果，即第i+1时空特征图，判断迭代次数i是否小于N-1，若是，则返回步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；

S8、将得到的时空特征图送入残差块，残差模块获取的特征图先后进行两次精炼操作，每次精炼操作先将特征图进行卷积并在卷积后进行上采样，将进行精炼操作后的特征图与上采样后的低分辨率视频帧相加得到高分辨率图。

2.根据权利要求1所述的一种迭代协作的视频超分辨率重构方法，其特征在于，输入低分辨率视频帧序列中提取多帧特征图，每一帧特征图都是目标帧，若共有T帧，当第t帧为目标帧时，t≤T，视频帧序列中提取的其他帧特征图为第t帧的相邻帧。

3.根据权利要求1或2所述的一种迭代协作的视频超分辨率重构方法，其特征在于，对齐网络采用基于可变形卷积的PCD校准模块实现目标帧与相邻帧的对齐操作。

4.根据权利要求1所述的一种迭代协作的视频超分辨率重构方法，其特征在于，将提取的特征图输入到分频重构网络，得到空间特征图包括：

S21、分频重构网络包括高频分支和低频分支，将特征图分别输入到高频分支与低频分支；

S22、在高频分支中采用5×5卷积得到高频结构信息，将得到的高频结构信息输入激活函数得到输出结果，将激活函数输出结果送入高频残差块，得到第一高频特征；

S23、在低频分支中采用3×3卷积得到低频结构信息；将得到的低频结构信息输入激活函数得到输出结果，将激活函数输出结果送入低频残差块，得到第一低频特征；

S24、将高频分支中的第一高频特征与低频分支中的第一低频特征交叉融合后，分别送入高频残差块和低频残差块，得到第二高频特征与第二低频特征；

S25、将第二高频特征与第二低频特征再次交叉融合后，分别送入高频残差块和低频残差块，得到第三高频特征和第三低频特征；

S26、在高频分支和低频分支中采用扩展的跳跃连接，将两个分支中跳跃连接的结果、第三高频特征和第三低频特征进行1×1卷积，得到最终的空间特征图。

5.根据权利要求4所述的一种迭代协作的视频超分辨率重构方法，其特征在于，高频分支与低频分支均采用扩展的跳跃连接：

y＝λx+F(x)

其中，x为残差块的输入，y为残差块的输出，F为加权神经网络层，λ为调制标量，λ是固定的常数。

6.根据权利要求1所述的一种迭代协作的视频超分辨率重构方法，其特征在于，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到时空特征图包括：

计算时间特征图与低分辨率视频帧特征图的差，然后输入到第一残差块中；

计算空间特征图与低分辨率视频帧特征图的差，然后输入到第二残差块中；

将两个独立残差块输出的结构进行融合，并进行3×3卷积，得到卷积后的特征图；

将目标帧与卷积后的特征图融合得到时空特征图。