[发明专利]基于频域感知的真实世界单幅图像超分辨的重建方法

说明书

一种单幅图像超分辨图像生成方法，在离线阶段，通过预测网络对基于实际成像系统的图像数据集进行训练，并以训练后的预测网络根据未配对的HR图像预测LR图像，从而组成训练集对SISR网络进行训练；在在线阶段，通过训练后的SISR网络根据输入真实世界拍摄的低分辨图像，生成真实世界高分辨图像，实现对真实世界单幅图像的超分辨重建。本发明采用频域感知和深度学习的方法可以在真实世界图像超分辨中得到更优的视觉效果，在图像重建中相比于其他的图像重建方法可以达到更好的分辨率。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于频域感知的真实世界单幅图像超分辨重建方法，运用物理模型指导的退化模型进行大量的数据生成，并驱动图像超分辨重建的方法。

背景技术

单幅图像超分辨(SISR)是通过信号处理技术将低分辨图(LR)中缺失的细节或高频信息恢复，并转化为视觉效果更好的高分辨率图像的技术。随着于深度学习技术的快速发展，基于神经网络的SISR技术也受到广泛开发，但因为现有的SISR网络在训练过程中，往往使用合成的配对图像，而其中低分辨率图像的生成方法大都只是将高分辨的图像进行双三次降采样插值、高斯模糊、叠加高斯噪声等时域操作，与真实场景中存在的光学退化模型差别较大，直接导致在实验室环境下训练所得之网络模型无法在实际应用中得到泛化。

发明内容

本发明针对现有SISR的模拟退化模型与真实世界中的退化过程差别较大，导致SISR网络在真实世界中效果较差的问题，提出一种单幅图像超分辨图像生成方法，能够通过简单步骤获得超分辨率图像。

本发明是通过以下技术方案实现的：

本发明涉及一种频域感知的单幅图像超分辨重建方法，在离线阶段，通过预测网络对基于实际成像系统的图像数据集进行训练，并以训练后的预测网络根据未配对的HR图像预测LR图像，从而组成训练集对SISR网络进行训练；在在线阶段，通过训练后的SISR网络根据输入真实世界拍摄的低分辨图像，生成真实世界高分辨图像，实现对真实世界单幅图像的超分辨重建。

所述的正向模型，即低分辨率图像与高分辨率图像的显式表达关系式为：其中：m和n是采样指标,为二维傅里叶变换,是二维傅里叶反变换,↓_N是N倍下采样操作,是高斯白噪声,传输函数

f_x,y表示x和y方向上的空间频率,和分别代表o(x,y)和p_1,2(x,y)的二维傅里叶变换。

所述的实际成像系统，包括但不限于带有传感器的光学相机,例如数码单反相机和手机相机，得到图像与物体的放大倍数其中f为等效薄透镜的焦距,s为物距,s′为像距,h为物高,h′为像高。

成像系统的光学像差会使形成的像发生畸变。在线性系统理论的背景下,这种效应可以用点扩散函数p_s(x,y)来表示。因此,光学退化图像I_o(x,y)＝o(x,y)*p_s(x,y)。

所述的传感器的像素大小长度Δx′和宽度Δy′相同。因此,传感器图像平面的最大空间频率ξ′_sensor由奈奎斯特采样定理得到为：

基于所述的实际成像系统的目标平面和图像平面之间的缩放关系，其目标平面上的空间采样间隔Δx和空间采样频率ξ_object为：

结合上述结果可以构建完整的成像模型为：其中：I为在传感器上形成的图像,是采样操作,m和n是采样指标,是高斯白噪声。

进一步推导出两种不同成像系统获取的同一目标的高分辨率和低分辨率图像的显式表达式为：