[发明专利]基于神经辐射场的物理光谱渲染系统及方法、计算机存储介质

权利要求书

1.一种基于神经辐射场的物理光谱渲染方法，其特征在于，包括以下步骤：

获取光线源点信息和光线方向；

将所述光线源点信息输入至神经辐射场的多层感知机的高纬度全连接层中，得到每个像素对应观察体视角的射线上指定点的不透明度信息；

将所述光线方向输入至神经辐射场的多层感知机的低纬度全连接层中，得到每个像素对应观察体视角的射线上指定点对应的多个波长的光谱信息；

基于所述不透明度信息和所述多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像；

将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像。

2.根据权利要求1所述的基于神经辐射场的物理光谱渲染方法，其特征在于，所述将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像步骤中，所述融合网络为：

在UNet网络中引入注意力门，完善UNet网络跨连接的特征，以使得输出到下一个解码器阶段之前的高层次特征由编码器的低层次特征引导；

所述对光谱图像进行处理时，构建后的融合网络控制所述融合网络中1×1的卷积模块获取所述光谱图像的特征并衡量它们的重要性，并基于通道维度的注意力机制关注光谱图像之间的特征融合。

3.根据权利要求2所述的基于神经辐射场的物理光谱渲染方法，其特征在于，所述基于所述不透明度信息和所述多个波长的光谱信息，经体素渲染，得到离散的多个波长的光谱图像过程中，通过光谱图像重构损失函数进行优化；

所述将所述离散的多个波长的光谱图像输入至融合网络中，经所述融合网络处理得到RGB图像过程中，通过RGB图像损失函数进行优化。

4.根据权利要求3所述的基于神经辐射场的物理光谱渲染方法，其特征在于，所述光谱图像重构损失函数如下：

其中，S代表光谱图像，带^代表预测图像，不带^代表参考图像；i∈{1,…,s_num}，s_num是光谱图像数量；λ_i代表波长；r代表光线；R(P)是光线的集合；c代表粗模型，f代表精细模型，粗模型重构整个采样区间的场景信息，精细模型主要关注有物体存在的区间信息；w_s是不同光谱图像的权重；

其中，w_s的计算方法如下：

其中，P_max是生成光谱图像中的最大PSNR值，P_λ是当前波长光谱图像的PSNR值。

5.根据权利要求3所述的基于神经辐射场的物理光谱渲染方法，其特征在于，RGB图像损失函数如下：

其中，C是RGB参考图像，为RGB预测图像。

6.根据权利要求3至5任一项所述的基于神经辐射场的物理光谱渲染方法，其特征在于，在所述经所述融合网络处理得到RGB图像之后，还包括以下步骤：

计算多个多光谱图像融合之后得到的RGB图像与渲染得到的RGB图像的最小二乘损失并进行反向传播优化融合网络。

7.一种基于神经辐射场的物理光谱渲染系统，其特征在于，包括处理器和存储器，所述存储器中存储有计算机介质，所述处理器执行所述计算机程序，以实现权利要求1或6任一项所述的基于神经辐射场的物理光谱渲染方法。

8.一种计算机存储介质，其特征在于，其上存储有计算机程序，计算机程序被处理器进行加载，以执行权利要求1或6任一项所述的基于神经辐射场的物理光谱渲染方法。