[发明专利]一种针对实时视频流的图像超分辨率重建方法、装置

说明书

本发明公开了一种针对实时视频流的图像超分辨率重建方法、装置，其中方法包括：获取视频帧图像，并提取视频帧图像的亮度通道图像、蓝色通道图像和红色通道图像；将提取到的关联视频帧图像的亮度通道图像作为图像超分辨率重建模型的输入，模型输出预测到的关联视频帧图像的高分辨率图像；将关联视频帧图像的高分辨率图像与提取的关联同张视频帧图像的蓝色通道图像和红色通道图像进行图像合并，然后将合并图像转换为RGB颜色空间下的超分辨率图像。本发明提供的图像超分辨率重建方法原理简单，重建速度快，经实验表明，能够完全适用对视频流的图像超分辨率重建，而且重建的超分辨率图像清晰、视觉感佳。

技术领域

本发明涉及图像重建技术领域，具体涉及一种针对实时视频流的图像超分辨率重建方法、装置。

背景技术

图像超分辨率(Super Resolution，SR)重建旨在通过输入一幅或多幅低分辨率图像重建出包含丰富细节的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。通过超分辨率重建我们可以让单张或多张不清晰的图片变得清晰。

目前，对于图像超分辨率重建技术的研究多集中在针对单图像的超分辨率重建(Signal Image Super Resolution，SISR)，即利用一幅图像中包含的丰富信息以及从样本图像中的视觉先验，识别重要的视觉线索，以填充图像细节。传统的SISR方法是基于经验算法实现，容易遗忘大量的图像高频信息且在图像重建过程中需要一定量的人为干预，重建效果也不够理想，与实际应用要求有着较大差距。

为了克服传统SISR方法存在的缺陷，近些年，不少学者将深度学习技术引入到图像超分辨率重建中，比如某学者提出的超分辨率卷积神经网络使用三层卷积网络首次将深度学习运用到图像超分辨率重建中，网络以端到端的方式学习从LR(低分辨率图像)到HR(高分辨率图像)的映射，不需要传统SISR方法中的任何工程特性，并且获得了比传统方法更先进的性能。

但传统的SISR方法重建图像耗时较长，无法适用对视频流的实时图像超分辨率重建需求。现有的基于深度学习的图像超分辨率重建方法大多存在重建图像模糊、噪声量大、视觉感差等问题，而且重建过程复杂，同样难以适应视频流的实时图像超分辨率重建需求。

发明内容

本发明以实现对视频流的实时图像超分辨率重建为目的，提供了一种针对实时视频流的图像超分辨率重建方法、装置。

为达此目的，本发明采用以下技术方案：

提供一种针对实时视频流的图像超分辨率重建方法，具体包括如下步骤：

1)对作为训练样本的原始高分辨率图像X进行图像预处理，得到所述原始高分辨率图像X对应的亮度通道图像X_y和多通道图像Y_mc；

2)将每张所述亮度通道图像X_y和其对应的所述多通道图像Y_mc生成为训练集；

3)将所述训练集中的所述多通道图像Y_mc输入到一神经网络中，网络预测输出高分辨率图像

4)根据关联同张所述原始高分辨率图像X的所述亮度通道图像X_y和所述高分辨率图像的图像差异，计算所述神经网络的预测损失，并根据损失结果调整所述神经网络的网络参数；

5)重复步骤1)-3)，直至所述神经网络的预测损失值小于一预设阈值后，完成对神经网络模型的迭代训练，最终训练形成一图像超分辨率重建模型；

6)获取视频帧图像，并提取所述视频帧图像的所述亮度通道图像X_y、蓝色通道图像C_b和红色通道图像C_r；