[发明专利]一种神经辐射场网络训练方法以及相关设备

说明书

本申请公开了一种神经辐射场网络训练方法，该方法中，在对神经辐射场网络进行训练的第i次迭代过程中，可以通过第i次迭代过程中的神经辐射场网络，根据第一视角对应的多个样本点中，每个样本点对应的上下文信息，获得第i次迭代过程中，每个样本点对应的体积密度和颜色信息；然后，根据第i次迭代过程中每个样本点对应的体积密度和颜色信息，通过体积渲染，获得第i次迭代过程中第一视角对应的第一输出图像；根据第一输出图像和第一图像，确定是否完成神经辐射场网络的训练。这样，训练后的神经辐射场网络能够融合样本点之间的上下文信息，学习到样本点的较准确的体积密度和颜色信息等特征信息，从而获得高质量的生成图像。

技术领域

本申请涉及人工智能技术领域，具体涉及一种神经辐射场网络训练方法以及相关设备。

背景技术

在诸如自动驾驶、游戏、虚拟现实以及增强现实等多种应用场景中，常常需要渲染出特定场景中的新视角的图像。

目前，一种传统的获得新视角图像的方式是基于计算机图形学(computergraphics)进行三维场景建模，并通过渲染引擎对三维场景模型进行渲染，以获得特定视角下的图像数据。在该方案中，新视角的图像质量依赖于三维模型的精度以及相关渲染引擎的能力，而若需要对生成大量新视角下的图像，则需要花费大量的资源成本，可见，目前传统的新视角的图像生成过程较为复杂，效率较低。

发明内容

本申请提供一种神经辐射场网络训练方法，训练后的神经辐射场网络可以准确高效地获得指定场景中的新视角下的图像。本申请还提供了相应的装置、设备、计算机可读存储介质和计算机程序产品等。

本申请第一方面提供一种神经辐射场网络训练方法，该方法包括：根据多个图像以及每个图像对应的视角方向，对神经辐射场网络进行训练，获得训练后的神经辐射场网络；其中，在对神经辐射场网络进行训练的第i次迭代过程中：通过第i次迭代过程中的神经辐射场网络，根据第一视角对应的多个样本点中，每个样本点对应的上下文信息，获得第i次迭代过程中，每个样本点对应的体积密度和颜色信息，第一视角基于第一图像的视角方向而确定，多个样本点为在第一视角对应的至少一条光线射线上进行采样而得到的，第一图像包含于多个图像中，i为正整数；根据第i次迭代过程中每个样本点对应的体积密度和颜色信息，通过体积渲染，获得第i次迭代过程中第一视角对应的第一输出图像；根据第一输出图像和第一图像，确定是否完成神经辐射场网络的训练。

在第一方面中，通过相关训练过程，可以使得训练后的神经辐射场网络能够融合样本点之间的上下文信息，学习到样本点的较准确的体积密度和颜色信息等特征信息，获得准确的输出结果，进而提升最终生成的图像的质量，减少了噪声带来的影响。

在第一方面的一种可能的实现方式中，每一样本点对应的上下文信息基于相应样本点在第一视角对应的多个样本点中的邻域样本点而得到。

在第一方面的一种可能的实现方式中，第一图像中包括多个图像块，任一样本点对应多条光线射线，多条光线射线为第一图像对应的相机向相应样本点对应的图像块中的多个像素点发射光线而得到；相应样本点对应的上下文信息基于相应样本点在邻域光线射线上的邻域样本点而得到，邻域光线射线包含于多条光线射线中，并且，邻域光线射线与相应样本点所在的光线射线不同。

该种可能的实现方式中，考虑到在实际应用过程中，对于一个场景而言，其任意角度渲染出的图像的像素颜色、深度、语义具有一定的连续性，因此，可以将用于训练的图像划分为多个图像块，每个图像块中可以包括多个像素，并且，在训练和推理过程中，可以基于该次迭代过程对应的图像中的图像块，获得多条光线射线，多条光线射线为第一图像对应的相机向任一图像块中的多个像素点发射光线而得到。这样，可以在训练和推理过程中，通过卷积操作等处理，将某一样本点对应的光线射线的感受野扩展至对应的图像块的范围，从而在深度维度上，将该样本点对应的光线射线的邻域光线射线上的相关上下文信息关联至该样本点，从而使得神经辐射场网络可以对该样本点的信息和邻域光线射线上的相关上下文信息进行融合，以获得该样本点的颜色信息和体积密度。