[发明专利]基于神经网络的光场多平面表示重建方法及装置

权利要求书

1.一种基于神经网络的光场多平面表示重建方法，其特征在于，包括以下步骤：

利用开源代码SceneNet的场景生成光场数据集；

根据所述光场数据集训练MPI重建网络，并用相机阵列对动态场景进行稀疏光场采集，利用所述MPI重建网络对所述相机阵列的相机的每个视点重建一个MPI；

将重建的所述MPI的alpha通道和颜色向量在时域上滤波，构成目标视点MPI，并且对需要重建的新视点，选取近邻视点的目标视点MPI进行MPI融合，依照从前向后混合透明度的渲染方法，生成新视点下的重建图像。

2.根据权利要求1所述的方法，其特征在于，所述利用开源代码SceneNet的场景生成光场数据集，包括：

利用SceneNet开源项目提供的场景Layout数据，在Chrono物理仿真器中建立场景，以制作所述光场数据集。

3.根据权利要求2所述的方法，其特征在于，所述利用SceneNet开源项目提供的场景Layout数据，在Chrono物理仿真器中建立场景，以制作所述光场数据集，进一步包括：

对所述场景中的物体添加随机初始速度和坐标扰动，并进行物理碰撞模拟直至场景静止，得到多个随机场景；

对所述多个随机场景的每个随机场景随机生成多个相机采样平面，并舍弃所述多个相机采样平面的非法的采样平面，以对所述场景进行稀疏光场采样，并渲染RGBD图像，得到所述光场数据集。

4.根据权利要求1所述的方法，其特征在于，所述根据所述光场数据集训练MPI重建网络，包括：

将相邻视点的图像集作为输入，将所述图像集中的像素反向投影至具有离散深度值的平面集合上构成所述MPI重建网络。

5.根据权利要求1或4所述的方法，其特征在于，通过所述MPI重建网络将单RGB图像直接反投影至不同深度层，并再投影到新视点构成堆叠的RGB图，并将目标视点的临近视点对应的PSV作为输入，输出目标视点下各个深度层平面的alpha通道值以及用于PSV颜色混合的颜色权重向量。

6.一种基于神经网络的光场多平面表示重建装置，其特征在于，包括：

生成模块，用于利用开源代码SceneNet的场景生成光场数据集；

第一重建模块，用于根据所述光场数据集训练MPI重建网络，并用相机阵列对动态场景进行稀疏光场采集，利用所述MPI重建网络对所述相机阵列的相机的每个视点重建一个MPI；

第二重建模块，用于将重建的所述MPI的alpha通道和颜色向量在时域上滤波，构成目标视点MPI，并且对需要重建的新视点，选取近邻视点的目标视点MPI进行MPI融合，依照从前向后混合透明度的渲染方法，生成新视点下的重建图像。

7.根据权利要求6所述的装置，其特征在于，所述生成模块进一步用于利用SceneNet开源项目提供的场景Layout数据，在Chrono物理仿真器中建立场景，以制作所述光场数据集。

8.根据权利要求7所述的装置，其特征在于，所述生成模块进一步用于对所述场景中的物体添加随机初始速度和坐标扰动，并进行物理碰撞模拟直至场景静止，得到多个随机场景，并对所述多个随机场景的每个随机场景随机生成多个相机采样平面，并舍弃所述多个相机采样平面的非法的采样平面，以对所述场景进行稀疏光场采样，并渲染RGBD图像，得到所述光场数据集。

9.根据权利要求6所述的装置，其特征在于，所述第一重建模块进一步用于将相邻视点的图像集作为输入，将所述图像集中的像素反向投影至具有离散深度值的平面集合上构成所述MPI重建网络。

10.根据权利要求6或9所述的装置，其特征在于，通过所述MPI重建网络将单RGB图像直接反投影至不同深度层，并再投影到新视点构成堆叠的RGB图，并将目标视点的临近视点对应的PSV作为输入，输出目标视点下各个深度层平面的alpha通道值以及用于PSV颜色混合的颜色权重向量。