[发明专利]基于对抗生成网络和边缘增强的视频超分辨率方法及系统

权利要求书

1.一种基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，包括如下步骤：

步骤S1：基于对抗生成网络自主建立数据集，获取高分辨率连续帧与相应的低分辨率连续帧；

步骤S2：将高分辨率连续帧与相应的低分辨率连续帧的RGB色彩空间转化到HSV色彩空间；

步骤S3：建立生成网络得到超分辨率连续帧；

步骤S4：对超分辨率连续帧进行真伪辨别；

步骤S5：如果辨别结果为真，则输出超分辨率连续帧；如果辨别结果为假，则重新生成超分辨连续帧进行真伪辨别。

2.根据权利要求1所述的基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，所述步骤S1包括如下子步骤：

步骤S11：读入旧影视的原始视频和对应的高清修复版本；

步骤S12：将原始视频和高清修复版本视频转化为连续的帧序列；

步骤S13：将高分辨率连续帧和低分辨率连续帧进行旋转和剪裁。

3.根据权利要求2所述的基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，所述步骤S12包括如下子步骤：

步骤S121：将原始视频和对应高清修复版本的时间轴对齐；

步骤S122：选取原始视频开始时间t1至结束时间t2的一段时间内的低分辨率视频video^LR，转为连续帧；

步骤S123：选取高清修复版本相同开始时间t1至相同结束时间t2的一段时间内的高分辨率视频video^HR，转为连续帧。

4.根据权利要求3所述的基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，所述步骤S12中低分辨率视频video^LR和高分辨率视频video^HR内不存在场景切换。

5.根据权利要求2所述的基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，所述步骤S13中对应高分辨率连续帧和低分辨率连续帧采用的旋转和剪裁参数必须一致。

6.根据权利要求1所述的基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，所述步骤S3包括如下子步骤：

步骤S31：光流网得到运动补偿运动补偿线性上采样四倍得到上采样后的运动补偿V_t，将上采样后的运动补偿V_t与前一帧的超分辨率结果进行非线性图像变形操作得到形变后的帧

步骤S32：利用超分辨率重构网络得到超分辨率中间结果；

步骤S33：对超分辨率中间结果利用拉普拉斯边缘增强网络。

7.根据权利要求5所述的基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，所述步骤S32包括如下子步骤：

步骤S321：运动补偿线性上采样四倍得到V_t；

步骤S322：将V_t与前一帧的超分辨率重建结果进行非线性图像变形操作得到形变后的帧它的形状是(batchsize,4*w,4*h,channel)；

步骤S323：将进行通道重组后得到尺寸下采样后的帧此时的形状是(batchsize,w,h,4*4*channel)；

步骤S324：将与在第三通道上进行合并，此时形状为(batchsize,w,h,4*4*channel+channel)；

步骤S325：得到超分辨率的中间结果其中表示低分辨率帧与高分辨率帧的残差的超分辨率结果，表示低分辨率帧，Bicubic()表示双三次采样。

8.根据权利要求6所述的基于对抗生成网络和边缘增强的视频超分辨率方法，其特征在于，所述步骤S33包括如下子步骤：

步骤S331：对超分辨率中间结果利用拉普拉斯算子L与进行卷积得到像素值突变的图像其中L为拉普拉斯掩膜，为卷积操作，为中间超分辨率结果。

步骤S332：将中间超分辨率结果用拉普拉斯算子提取的边缘与中间超分辨率结果叠加而产生锐化图像

步骤S333：后处理的去噪工作，得到超分辨率最终结果