[发明专利]基于数据仿真的视频超分辨方法、系统、设备及存储介质

说明书

本发明公开了一种基于数据仿真的视频超分辨方法。包括：采集高分辨率视频与低分辨率目标视频；对低分辨率目标视频的模糊核、噪声进行采样；利用模糊核对高分辨率视频进行模糊并添加噪声，构建出仿真视频数据集；构建超分辨率网络模型，并利用仿真视频数据集进行训练；利用训练好的超分辨率网络模型对低分辨率目标视频进行超分辨重建，生成需要的超分辨率视频。本发明还公开了一种基于数据仿真的视频超分辨系统、计算机设备及计算机可读存储介质。本发明通过数据仿真的方法，采用对抗生成网络以及统计的方式对目标低分辨率数据集的特征进行采样和估计，能生成更加符合实际条件的低分辨率视频的训练数据，提高了超分辨率的效果。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于数据仿真的视频超分辨方法、基于数据仿真的视频超分辨系统、计算机设备及计算机可读存储介质。

背景技术

分辨率指的是一张图像所包含的像素数量，分辨率越高则图像越清晰，包含的内容和细节信息也就越多。超分辨率重建技术指的是通过算法从低分辨率图像中获取对应的高分辨率图像，还原或者增加图像细节，使得图像更符合人类的视觉感知。随着科学技术的进步和生产力的发展，智能设备普及率得到进一步提高，每天都会因此产生数以万计的视频数据，人们也能随时随地观看视频，视频已经成为了日常生活中接触最多，信息量最为丰富的信息载体。因此，研究如何通过低分辨率的视频获取到高分辨率的高清视频有非常重要的现实意义。此外，视频超分辨在视频监控、遥感成像、医疗诊断同样有着非常广泛的研究价值。

目前的现有技术之一是Shi等的《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network》所提出的ESPCN的单图像超分辨重建方法，利用了像素重组的上采样方式，即图像在经过数个卷积层后得到放大倍数平方通道，且大小与原图大小一致的特征图，随后对这些特征图进行重新排列，每一个通道特征图像素点代表了重建后的高分辨率图像对应位置的一个像素点，最终合并得到对应放大倍数的高分辨率图像。该方法对单图像的处理效率高，且像素重组的思路也被广泛应用于后续的其他超分辨方法中。视频可以看作是多帧图像的集合，因此可以利用现有的单图像超分辨方法对视频所有帧进行重建。该方法的缺点是：由于视频数据的特点，帧与帧之间通常是连续的运动变化过程，具有相似性，视频的抖动可以看作是对同一场景的不同位置采样，能为超分辨重建提供更多的信息，例如，同一场景下的多帧图像可以用于去除随机噪声。单独地对视频所有帧进行超分辨重建，没有利用到帧与帧之间的关系信息，导致单图像超分辨直接应用在视频数据上时效果不理想。

目前的现有技术之二是Wang等的《EDVR:Video restoration withenhanceddeformable convolutional networks》提出的EDVR的视频超分辨重建方法，主要包括两个关键模块：金字塔层叠变形(PCD)对齐模块以及时空注意力(TSA)融合模块，用于解决视频超分辨率多帧对齐以及剧烈晃动的问题。EDVR首先将视频转化为图像序列，每次将数帧作为网络的输入，并将其中一帧作为关键帧，通过PCD对齐模块将相邻帧对齐到关键帧，然后对齐后的帧经过TSA融合模块得到融合特征，最后通过重建模块利用像素重组的方式将融合特征重建为残差图，并与关键帧的双线性插值法得到的上采样结果进行逐像素的相加得到重建后的一帧。重复这个过程直到视频所有帧都完成超分辨率重建。该方法的缺点是：采用REDS作为训练集，该数据集通过对视频中每一帧进行双三次插值下采样构成低分辨率的成对训练数据，然而由于现实中低分辨率视频并不是通过理想的双三次插值法下采样获取得到的，而且双三次插值法会造成图像的高频信息丢失，凸显低频信息，这使得训练数据低分辨率和高分辨率之间产生了较大的偏差，因此该方法在同样采用双三次插值法构造的训练集中有明显的重建效果，而直接应用到真实的视频应用中重建效果却不明显。

发明内容