[发明专利]基于神经辐射场的物理光谱渲染系统及方法、计算机存储介质

说明书

本发明公开了一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质，涉及计算机视觉、计算机图形学、渲染领域，上述方法包括以下步骤：获取光线源点信息和光线方向；将光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中；将光线方向输入至神经辐射场的多层感知机的低纬度全连接层中；基于不透明度信息和多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像。本发明提供的基于神经辐射场的物理光谱渲染方法将光谱渲染和神经辐射场相结合，在处理复杂场景时，不容易丢失重要的细节，并能够生成多个视角的图像，对场景的表达能力更好。

技术领域

本发明属于涉及计算机视觉、计算机图形学、渲染领域，具体涉及一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质。

背景技术

光谱渲染是一项十分重要的技术，应用在日常生活的各个方面，包括物体检测、人脸识别等。光谱渲染是计算机视觉中的一个基本问题，它可以反映物体的吸收、反射和其他相互作用，并已被用于生成真实的图像。在过去的几十年里，基于物理的光谱渲染得到了广泛的研究，其中光的传输是用多个波长来模拟的，而不仅仅是使用常规的红、绿、蓝三色分量。有一些基于物理的渲染方法通过学习光谱分布实现光谱渲染，包括在可见光范围内的随机采样、复合光谱模型和空间域中的光线采样。这些方法都是为了保证渲染照片的真实性。然而，它们只能生成当前视角的图像，对场景的表达能力有限。

最近，神经辐射场(Neural Radiance Field)被用来渲染3D场景的新视角图像。基于神经辐射场的方法通过使用多层感知机(Multi-layer Perceptron)编码场景的体积密度和辐射值来实现对场景的渲染。这类方法在生成新视角图像方面表现优异，解决了光谱渲染不能表达整个场景的限制。然而，当处理复杂场景时，基于神经辐射场的方法容易丢失重要的细节。

发明内容

本发明提供一种基于神经辐射场的物理光谱渲染系统及方法，计算机存储介质，用于生成多视角的光谱渲染图像。

本发明通过下述技术方案实现：

一方面，本发明提供一种基于神经辐射场的物理光谱渲染方法，包括以下步骤：获取光线源点信息和光线方向；将光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中，得到每个像素对应观察体视角的射线上指定点的不透明度信息；将光线方向输入至神经辐射场的多层感知机的低纬度全连接层中，得到每个像素对应观察体视角的射线上指定点对应的多个波长的光谱信息；基于不透明度信息和多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像。

在其中一些实施例中，将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像步骤中，融合网络为：在UNet网络中引入注意力门，完善UNet网络跨连接的特征，以使得输出到下一个解码器阶段之前的高层次特征由编码器的低层次特征引导；对光谱图像进行处理时，构建后的融合网络控制融合网络中1×1的卷积模块获取光谱图像的特征并衡量它们的重要性，并基于通道维度的注意力机制关注光谱图像之间的特征融合。

在其中一些实施例中，基于不透明度信息和多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像过程中，通过光谱图像重构损失函数进行优化；将离散的多个波长的光谱图像输入至融合网络中，经融合网络处理得到RGB图像过程中，通过RGB图像损失函数进行优化。

在其中一些实施例中，光谱图像重构损失函数如下：