[发明专利]基于神经辐射场的计算全息场生成方法及装置

说明书

本申请涉及图像数据处理或产生技术领域，特别涉及一种基于神经辐射场的计算全息场生成方法及装置，其中，方法包括：获取目标场景的三维模型；采集多个视角下目标场景的彩色图像和深度图，记录相应的角度信息和相机的内外参数，生成点云数据，计算全息振幅图和相位图，得到真值图像；基于不同角度对三维模型进行二维采样，得到多个二维图像；利用预设的神经网络获取每个二维图像的振幅分布和相位分布，计算并叠加得到对应视角下的计算全息图；通过预先训练的计算全息场网络，得到对应视角下的计算全息图。由此，解决了相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。

技术领域

本申请涉及图像数据处理或产生技术领域，特别涉及一种基于神经辐射场的计算全息场生成方法及装置。

背景技术

神经辐射场可以通过对一个复杂场景利用神经网络建模，构建复杂场景对应的隐式表达，并利用训练好的神经辐射场网络可从任意角度对复杂场景进行场景渲染，是3D视觉领域里一个新兴的研究领域。

计算全息显示技术是随着数字计算机和全息成像技术的发展所衍生的一项利用数字计算机模拟光学过程并生成全息图的技术，与其他三维显示技术相比，全息显示由于包含了目标的振幅和相位信息，可以精确呈现目标的三维图像，因此被认为是实现三维显示的最佳手段。

然而，相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像，有待改善。

发明内容

本申请提供一种基于神经辐射场的计算全息场生成方法及装置，以解决相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。

本申请第一方面实施例提供一种基于神经辐射场的计算全息场生成方法，包括以下步骤：获取目标场景的三维模型；采集多个视角下所述目标场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数；根据所述内外参数，通过所述彩色图像和深度图生成相应视角下的点云数据，计算对应视角下的全息振幅图和相位图，得到真值图像；基于不同角度对所述三维模型在预设深度范围内进行二维采样，得到多个不同深度下相互平行的二维图像；利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图；以及通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其中，所述计算全息场网络由所述对应视角下的计算全息图训练得到。

可选地，在本申请的一个实施例中，在所述通过预先训练的计算全息场网络，由所述任意观察视点得到所述对应视角下的计算全息图之前，还包括：构建初始神经辐射场网络；基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练所述初始神经辐射场网络，得到所述计算全息场网络。

可选地，在本申请的一个实施例中，所述利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，包括：构建所述预设的神经网络的相关函数与网络参数；将所述角度信息和所述多个二维图像输入所述神经网络，获取所述对应视角下每个二维图像的振幅分布和相位分布。

可选地，在本申请的一个实施例中，所述计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图，包括：计算所述每个二维图像的复振幅分布，其中，所述复振幅分布的计算公式为：

，

其中，P_n为第n个二维图像的复振幅，A_n为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；