[发明专利]基于生成对抗网络的光场轴向重聚焦图像超分辨方法

说明书

本发明公开的基于生成对抗网络的光场轴向重聚焦图像超分辨方法，首先，从光场原始图像获得光场的重聚焦图像，并将其分为测试集数据和训练集数据；然后，使用tensorflow搭建生成对抗网络模型，通过训练集数据训练生成对抗网络模型，通过测试集数据验证模型；最后，使用训练好的生成对抗网络模型进行光场轴向重聚焦图像的超分辨。本发明公开的方法解决了现有方法不能对非整数倍的重聚焦图像进行重建的问题。通过生成对抗网络对光场重聚焦图像实现轴向超分辨，能够在较少的光场重聚焦图像下生成不同深度的光场重聚焦图像，使得光场重聚焦变得更为平滑。

技术领域

本发明属于光场成像技术领域，具体涉及一种基于生成对抗网络的光场轴向重聚焦图像超分辨方法。

背景技术

光场是光线在空间传播中四维的概念，光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体。在空间内任意的角度、任意的位置都以获得整个空间环境的真实信息，用光场获得的图像信息更全面，品质更好。重聚焦过程是将采集到的光场重新投影到新的像平面上进行积分。由于景物所处深度不同，对于相同孔径的镜头而言，其聚焦面也不同，通过重聚焦可以获知各景深处所对应的聚焦像。当前光场重聚焦方法已经趋于成熟，然而该方法只能重聚焦整数倍数的像素差图像。对于非整数倍的重聚焦图像，现有的方法还无法完成。

发明内容

本发明的目的是提供一种基于生成对抗网络的光场轴向重聚焦图像超分辨方法，解决了现有方法不能对非整数倍的重聚焦图像进行重建的问题。

本发明所采用的技术方案是，基于生成对抗网络的光场轴向重聚焦图像超分辨方法，具体操作过程包括如下步骤：

步骤1，从光场原始图像获得光场的重聚焦图像，并将其分为测试集数据和训练集数据；

步骤2，使用tensorflow搭建生成对抗网络模型，通过训练集数据训练生成对抗网络模型，通过测试集数据验证模型；

步骤3，使用训练好的生成对抗网络模型进行光场轴向重聚焦图像的超分辨。

本发明的其他特点还在于，

步骤1的具体过程如下：

步骤1.1，从光场相机中提取到光场的原始图像文件，对拍摄的原始光场图像进行解析分别得到光场图像的微透镜的中心坐标文件、光场图像文件和与之匹配的光场白图像；

步骤1.2，使用光场重聚焦对解析后的光场图像进行重聚焦操作：

读取解码后的光场文件，L(u,v,s,t)为采集到的光场，U和S分别表示主镜头孔径所在平面和微透镜阵列所在平面，两个平面之间的距离为，新的对焦平面为S′；其中，(u，v)和(s，t)分别表示U和S平面上的点，图中s′表示从U平面发出的一条光线在S′上的位置；令l′＝α*l，S′面所成的像等于US′之间光场的积分，如式(1)所示：

I(s′)＝∫L′(u,s′)du (1)

通过公式(1)得到某一深度下光场图像重聚焦的结果；

令光场重聚焦的相对深度为[A,B]，其中A,B为光场的相对深度距离，每次相对深度l′增加量为Δt，则有N＝(B-A)/Δt，N为光场重聚焦得到不同相对深度下的重聚焦图像个数，通过式(1)得到不同深度下的光场重聚焦图像。

优选的，将步骤1.2得到的光场重聚焦图像偶数位的图像作为测试数据集，将奇数位的图像作为训练数据集。

优选的，步骤2中建立生成对抗网络模型的过程为：

使用tensorflow搭建生成至少3个网络模块和一个判别网络模块，其中两个生成网络分别学习连续3帧图像，剩余的生成网络学习其他生成网络的输出结果，最终生成图像，传给判别网络进行对抗学习。