[发明专利]光场图像多倍率空间超分辨方法及装置

说明书

本发明公开了一种光场图像多倍率空间超分辨方法及装置，所述方法包括以下步骤：S1，训练基于EDSR结构的单图超分辨网络；S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；S6，将修复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。根据本发明的方法提升了网络的超分辨效果。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种光场图像多倍率空间超分辨方法及装置。

背景技术

光场成像技术可以捕捉光线方向信息，通过一次拍照获得空间场景多视角图像，相比于传统的成像技术，光场成像技术不仅能够在探测器上获取场景中目标的位置信息和光强信息，还能获得光线的角度信息。因此，光场相机在深度估计、捕获后重聚焦等任务中具有优势。

基于微透镜阵列的光场相机在广义聚焦的情况下，视角分辨率与空间分辨率的乘积不能超过相机传感器的分辨率。但是，探测器像元数目有限，为了记录视角维度的信息，需要牺牲一些空间分辨率，使得光场图像的视角图像的空间分辨率较低，这是限制光场相机应用的一个重要因素。

现有技术中，通常采用图像超分辨技术提高光场图像的空间分辨率。但是，一方面，目前已有的基于学习的光场图像空间超分辨算法对于不同放大倍率的情况，需要重新训练网络参数；另一方面，视角图像堆栈或极平面图像作为光场图像空间超分辨网络训练对象时不能完善考虑空间信息在两个视角维度上的分布的问题。综上，上述技术存在改进空间。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种光场图像多倍率空间超分辨方法，所述光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。

本发明还提出了一种采用了上述光场图像多倍率空间超分辨方法的装置。

根据本发明实施例的光场图像多倍率空间超分辨方法，包括以下步骤：

S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；

S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；

S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；

S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；

S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；

S6，将恢复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。

根据本发明的光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。

根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据。

根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分。

根据本发明一个实施例的光场图像多倍率空间超分辨方法，特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块。