[发明专利]基于神经网络的光场多平面表示重建方法及装置

说明书

本发明公开了一种基于神经网络的光场多平面表示重建方法及装置，其中，方法包括以下步骤：利用开源代码SceneNet的场景生成光场数据集；根据光场数据集训练MPI重建网络，并用相机阵列对动态场景进行稀疏光场采集，利用MPI重建网络对相机阵列的相机的每个视点重建一个MPI；将重建的MPI的alpha通道和颜色向量在时域上滤波，构成目标视点MPI，并且对需要重建的新视点，选取近邻视点的目标视点MPI进行MPI融合，依照从前向后混合透明度的渲染方法，生成新视点下的重建图像。该方法可以大大降低了系统复杂性，并且可以同时在空间域和角度域实现较好的光场插值效果。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于神经网络的光场多平面表示重建方法及装置。

背景技术

对于稀疏采样的光场，生成自由视点图像是计算机视觉领域的重点问题。高质量的光场渲染能够实时生成逼真的视图，且计算复杂度与场景复杂性、是否具有非朗伯表面(如珠宝，毛皮，玻璃和脸等)无关。基于稀疏光场生成自由视点面临两个技术挑战：大视差和非朗伯性。

然而，现有的光场重建方法总是关注其中一个问题，但未能解决另一个问题，这些算法或者具有对场景不相容的表示形式，或者直接混合后将导致庞大的计算管道。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于神经网络的光场多平面表示重建方法，该方法可以同时在空间域和角度域实现较好的光场插值效果。

本发明的另一个目的在于提出一种基于神经网络的光场多平面表示重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于神经网络的光场多平面表示重建方法，包括以下步骤：利用开源代码SceneNet的场景生成光场数据集；根据所述光场数据集训练MPI重建网络，并用相机阵列对动态场景进行稀疏光场采集，利用所述MPI重建网络对所述相机阵列的相机的每个视点重建一个MPI；将重建的所述MPI的alpha通道和颜色向量在时域上滤波，构成目标视点MPI，并且对需要重建的新视点，选取近邻视点的目标视点MPI进行MPI融合，依照从前向后混合透明度的渲染方法，生成新视点下的重建图像。

本发明实施例的基于神经网络的光场多平面表示重建方法，可以把光场重建为不同视点下的MPI，一个MPI是空间中不同深度的带有RGB-alpha信息的平面集合，MPI对深度的离散划分不仅降低了奈奎斯特采样条件对空间采样率的要求，还使得场景中的非朗伯表面有较合理的描述，其可以将非朗伯表面上具有不同视差的颜色组分投影在不同的深度平面上，从而在渲染时保留非朗伯特性，在合成新视点时，混合临近视点的MPI可以得到新视点的MPI，渲染得到视点图像，大大降低了系统复杂性，并且可以同时在空间域和角度域实现较好的光场插值效果。

另外，根据本发明上述实施例的基于神经网络的光场多平面表示重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述利用开源代码SceneNet的场景生成光场数据集，包括：利用SceneNet开源项目提供的场景Layout数据，在Chrono物理仿真器中建立场景，以制作所述光场数据集。

进一步地，在本发明的一个实施例中，所述利用SceneNet开源项目提供的场景Layout数据，在Chrono物理仿真器中建立场景，以制作所述光场数据集，进一步包括：对所述场景中的物体添加随机初始速度和坐标扰动，并进行物理碰撞模拟直至场景静止，得到多个随机场景；对所述多个随机场景的每个随机场景随机生成多个相机采样平面，并舍弃所述多个相机采样平面的非法的采样平面，以对所述场景进行稀疏光场采样，并渲染RGBD图像，得到所述光场数据集。