[发明专利]光场图像空间域超分辨率方法、系统、终端及存储介质

说明书

本发明公开了一种光场图像空间域超分辨率方法、系统、终端及存储介质，包括：将视点图像按照角度位置分为多组，对应设置多个视点图像对齐方案；将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，对其周围不同预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置；将待训练视点图像先剪裁后下采样再对齐，然后进行训练，得到光场图像超分辨率模型；将对齐后的待测试视点图像输入到光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。本发明，将基于相位的视点图像视差对齐与基于深度学习的光场图像超分辨率方法相结合，得到了质量更高的超分辨率结果。

技术领域

本发明涉及图像处理技术领域，特别涉及一种光场图像空间域超分辨率方法、系统、终端及存储介质。

背景技术

光场成像(Light Field Imaging)是目前捕捉场景3D外观使用最广泛的方法之一，不同于普通的二维图像只能捕捉空间中光线的空间信息，记录空间内光线的2D投影，而光场图像能够记录整个空间内的光线分布。光场图像的获取依赖于相机阵列或者特制的光场相机。简易的光场相机可以由传统相机在原有的感光元件和主透镜之间放置一层微透镜阵列(Array of Microlens)改造而成，这层微透镜阵列将透过相机主透镜的光线进行再次折射并投射在感光元件上，使得光场相机不仅可以根据微透镜位置记录下入射光线的入射位置，还可以记录下入射光线的入射方向。因此利用光场成像技术能够广泛应用于深度估计(Depth Estimation)、图像重聚焦(Refocus)、三维建模(3D Reconstruction)等领域，具有十分重要的研究意义。

由光场相机直接得到的图像被称作光场原图，光场原图由一个个小的微透镜图像所组成，将微透镜图像的像素点按照其原有位置重新排列可以得到来自不同视角的视点图像。其中，微透镜图像的像素点数目决定了视点图像的个数，而微透镜图像的个数决定了每张视点图像的像素点数目。因此，光场图像的尺寸(或光场的分辨率)可以记作[A,B,C,D]，其中A,B表示光场的空间分辨率，即每一个视点图像的尺寸为A×B；C,D表示光场的角度分辨率，即光场原图中包含C×D个视点图像。光场同时记录了光线的角度与位置信息，实现了高维的图像数据表达，但是由于光场采集设备的限制，在有限的成像条件下光场图像的空间分辨率和角度分辨率需要折衷，光场的角度分辨率的提高是以牺牲空间分辨率为代价的。这导致了光场图像的空间分辨率远低于传统成像设备得到的二维图像分辨率，而角度分辨率也十分不足，通常只有9×9或14×14；同时，由于微透镜的限制，真实光场图像的边缘视点图像通常不可用。因此，为了提高光场图像质量以实现更好的应用，需要提高光场在角度域或空间域的分辨率。

根据光场的特性，可以将光场超分辨率分为空间域超分辨率(即增加视点图像分辨率)和角度域超分辨率(即增加视点图像数量)。针对光场空间域分辨率不足的问题，最直接的方法是将每张视点图像依次进行二维图像超分辨率，得到视点图像超分辨率后的光场图像。在现有技术中，大多数基于深度学习的方法都通过设计不同的网络结构，针对视点图像提取出不同的特征用于空间域超分辨率，但这样做忽略了视点图像之间的视差关系，将导致相邻视点图像内容的不连续，直接影响光场的后续应用；同时，网络不仅需要学习不同角度位置的视点图像像素之间的差异信息，还需要学习其角度位置的差异性信息。因此在进行空间域超分辨率处理时，如何在对光场图像进行基于深度学习的超分辨率处理时，将光场本身特性考虑在内，而不是将不同的视点图像作为不同的独立整体来考虑，是目前需要进一步解决的问题。

发明内容

本发明针对上述现有技术中存在的问题，提出一种光场图像空间域超分辨率方法、系统、终端及存储介质，利用光场视点图像之间的视差关系进行基于相位的视点图像视差对齐，并将其与基于深度学习的光场图像超分辨率方法相结合，得到了质量更高的超分辨率结果。

为解决上述技术问题，本发明是通过如下技术方案实现的：

根据本发明的第一方面，提供一种光场图像空间域超分辨率方法，其包括：