[发明专利]基于深度图像和神经辐射场的新视角合成方法

说明书

本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为：一种基于深度图像和神经辐射场的新视角合成方法，其特征在于：获取场景多个视角的真实RGB‑D图像；基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云，场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应；基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示；渲染带颜色的三角网格表示生成大量渲染图像；利用渲染图像作为网络真值预训练神经辐射场网络；利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络；通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。

技术领域

本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域，尤其适用于场景或物体的新视角合成领域。

背景技术

新视角合成技术是计算机视觉和计算机图形学的一个重要研究课题，它已广泛应用于数字和娱乐行业，从电影制作到游戏，以及蓬勃发展的虚拟现实和增强现实应用。

目前，使用少量已知图像生成任意视角下的高真实感图像仍然是一个亟待解决的问题。如果拥有物体或场景精确的几何结构，可以通过渲染来生成任意视角下的高真实感图像，但这还需要了解物体的表面材质、光照环境等条件，渲染过程通过对渲染方程的积分求解，能得到非常逼真的结果。然而，针对现实世界中的物体或场景仍然充满挑战，一方面，现实世界中的物体或场景很难获得精确的几何、曲面法线和材质信息；另一方面，真实环境的光照非常复杂，多光源环境难以建模。

Mildenhall等人的“Nerf:Representing scenes as neural radiance fieldsforview synthesis”首先提出了神经辐射场工作，利用全连接网络(MLP)和体渲染从图片中拟合重建场景的几何和外观，由于其简单的结构和令人惊艳的效果，吸引了大量关注。但它也存在着渲染速度过慢，实现理想的效果仍需要大量图片等问题，这导致其距离实际使用还存在着一定距离。

Lingjie Liu等人的“Neural Sparse Voxel Fields”提出使用稀疏体素组织场景，让光线上的采样点数量减少，加速了渲染时间，但他们的方法仍旧需要大量输入图片来完成体素的剪枝和细分。

AlexYu等人的“pixelNeRF:Neural Radiance Fields from One orFew Images”实现了仅从一幅或几幅输入图像进行新视角合成，该工作虽然减少了对输入图像数量的要求，但新视角生成的结果存在明显瑕疵，极大地影响了用户在实际使用中的体验。

Ajay Jain等人的“PuttingNeRF on a Diet:Semantically Consistent Few-Shot View Synthesis”同样致力于减少输入图片的数量，他们通过引入一种语义一致性损失函数，在新视角下保持场景属性不变。这种损失函数建立在预训练好的网络模块提取的语义信息上。

QianqianWang等人的“IBRNet:Learning Multi-View Image-Based Rendering”在多个场景上训练，可以做到使用少量图片微调网络，即可泛化到新场景上，但该方法依赖相似场景的预训练，同时从输入图片上提取二维特征，在深度上存在歧义性，使用少量图片泛化到新场景上的效果难以满足用户需求。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，提供一种基于深度图像和神经辐射场的新视角合成方法，以实现利用少量拍摄视角完成高质量新视角合成。

本发明所采用的技术方案是：一种基于深度图像和神经辐射场的新视角合成方法，其特征在于：

获取场景多个视角的真实RGB-D图像；