[发明专利]基于对抗生成网络和边缘增强的视频超分辨率方法及系统

说明书

本发明提供了一种基于对抗生成网络和边缘增强的视频超分辨率方法，包括如下：步骤S1：基于对抗生成网络自主建立数据集，获取高分辨率连续帧与相应的低分辨率连续帧；步骤S2：将高分辨率连续帧与相应的低分辨率连续帧的RGB色彩空间转化到HSV色彩空间；步骤S3：建立生成网络得到超分辨率连续帧；步骤S4：对超分辨率连续帧进行真伪辨别；步骤S5：如果辨别结果为真，则输出超分辨率连续帧；如果辨别结果为假，则重新生成超分辨连续帧进行真伪辨别。本发明直接采用旧影视的原始连续帧作为网络的输入，对应的高清修复版本连续帧作为网络的目标。这样既舍去了中间的退化过程，又贴合自然图像的实际情况。

技术领域

本发明涉及视频图像处理技术领域，具体地，涉及一种基于对抗生成网络和边缘增强的视频超分辨率方法及系统。

背景技术

超分辨率旨在从低分辨率(LR)版本重建高分辨率(HR)图像或视频，这是计算机视觉中的经典问题。它不仅追求物理尺寸的扩大，而且还可以恢复高频细节以确保清晰度。古典算法已经存在了数十年，可以分为以下几类：基于补丁、边缘、稀疏编码，预测和统计的方法。这些方法的计算成本比深度学习方法低，但是其恢复性能也非常有限。随着深度学习的普及，卷积神经网络已得到广泛应用，并导致超分辨率的飞跃。

该领域可以分为两部分，单图像超分辨率(SISR)和视频超分辨率(VSR)。前者利用单个帧中的空间相关性，而后者另外使用帧间时间相关性。对于2000年前后的电影和电视作品的分辨率都很低，因为受制于以前的拍摄条件和放映设备。尽管图像质量的显示不能令人满意，但是出现了大量的优秀影视作品。那么直接将以前的拍摄片段直接复制到现有设备中时已不能满足当今人们的感知需求。因此，旧影视超分辨率的确有其一定的市场需求。不过由于时间相关性对于视频超分辨率至关重要，因此常常组合来自相邻低分辨率帧的信息。然而，一些视频重建结果仍然不能令人满意。

经过检索，专利文献CN105931189B公开了一种基于改进超分辨率参数化模型的视频超分辨率方法及装置，以改进超分辨率参数化模型作为视频超分辨率方法的理论指导，利用公共标记矩阵将遮挡、边界溢出对应的非公共区域所引入的错误参考信息加以排除，使得参数化模型能更好地描述各类实际视频；结合多未知参数参数联合估计的方法，保证了视频超分辨率的稳定进行。虽然该现有技术解决了视频间非公共内容的缺陷，但是是通过改进参数，并未结合帧间的空间相关性和时间相关性，无法解决边缘增强的技术问题。

专利文献CN111260560B公开了一种融合注意力机制的多帧视频超分辨率方法，包括采集视频数据并采用视频增强技术对视频数据进行训练以生成训练集及测试集；连接变形卷积特征对齐模块及特征重建模块以构成多帧超分辨率网络，采用训练集对多帧超分辨率网络进行训练；将3D卷积特征对齐模块加入多帧超分辨率网络进行训练；将特征融合模块加入多帧超分辨率网络进行训练；采用训练集对多帧超分辨率网络进行训练；采用训练集对多帧超分辨率网络进行微调以生成多帧超分辨率模型；采用测试集对多帧超分辨率模型进行测试。该现有技术主要通过对大数据的分析来提高超分辨率，侧重在注意力机制，并未结合帧间的空间相关性和时间相关性，无法解决边缘增强的技术问题。

目前，现有技术对视频重建结果存在两个大问题。第一，超分辨率的数据集都是由高分辨率数据HR下采样得到低分辨率数据LR，然后构成LR和HR对。但是这种采样过程理想化了自然图像退化的过程，与实际不符。第二，现有技术中采用GAN网络的超分辨率结果在主观感受上有比较大的进展，但是在视频上应用不多。

因此，亟需研发涉及一种结合帧间的空间相关性和时间相关性，利用GAN网络的超分辨率结果提升旧影视的视频应用成果。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于对抗生成网络和边缘增强的视频超分辨率方法及系统，本发明采用GAN网络为主体框架，增加感知损失与光流损失，然后在超分辨率网络之后融入边缘增强的网络层，可以进一步改善最后结果。

根据本发明提供的一种基于对抗生成网络和边缘增强的视频超分辨率方法，包括如下步骤：