[发明专利]图像处理方法及装置、神经辐射场的训练方法

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

从第一图像提取静态场景特征，所述第一图像为在第一时刻从第一视角拍摄目标场景而得到的，其中，所述静态场景特征表征所述目标场景中处于静态的对象；

从第二图像提取动态场景特征，所述第二图像为在不同于所述第一时刻的第二时刻从不同于所述第一视角的第二视角拍摄所述目标场景而得到的，其中，所述动态场景特征表征所述目标场景中处于动态的对象；

确定不同于所述第二视角的目标视角，并在与所述目标视角对应的空间区域中确定多个采样点；

针对所述多个采样点中的每一个采样点，将该采样点的空间位置信息、所述目标视角、所述静态场景特征以及所述动态场景特征输入经训练的神经辐射场，以得到该采样点的待渲染信息，包括：

针对所述多个采样点中的每一个采样点，

将该采样点的空间位置信息输入所述神经辐射场中的空间信息编码子网络，以得到该采样点的空间特征向量和静态密度信息；

将该采样点的空间特征向量、所述目标视角以及所述静态场景特征输入所述神经辐射场中的静态场景建模子网络，以得到该采样点的静态颜色信息；以及

将该采样点的空间特征向量、所述目标视角以及所述动态场景特征输入所述神经辐射场中的动态场景建模子网络，以得到该采样点的动态颜色信息和动态密度信息，其中，所述待渲染信息包括静态待渲染信息和动态待渲染信息，所述静态待渲染信息包括所述静态密度信息和所述静态颜色信息，所述动态待渲染信息包括所述动态密度信息和所述动态颜色信息；以及

基于所述多个采样点各自的静态密度信息、静态颜色信息、动态密度信息以及动态颜色信息，渲染目标图像，所述目标图像表征对在所述第二时刻从所述目标视角拍摄所述目标场景而得到的图像的预测结果。

2.根据权利要求1所述的方法，其特征在于，针对所述多个采样点中的每一个采样点，将该采样点的空间特征向量、所述目标视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息和动态密度信息，包括：

针对所述多个采样点中的每一个采样点，将该采样点的空间特征向量、所述目标视角以及所述动态场景特征输入所述动态场景建模子网络，以得到该采样点的动态颜色信息、动态密度信息以及动态场景概率，所述动态场景概率指示该采样点为动态场景的概率，

其中，基于所述多个采样点各自的静态密度信息、静态颜色信息、动态密度信息以及动态颜色信息，渲染目标图像，包括：

基于所述多个采样点各自的静态密度信息、静态颜色信息、动态密度信息、动态颜色信息以及动态场景概率，渲染所述目标图像。

3.根据权利要求2所述的方法，其特征在于，在与所述目标视角对应的空间区域中确定多个采样点包括：

基于所述目标视角，在与所述目标视角对应的空间区域中确定多个采样射线；以及

在所述多个采样射线中的每一个采样射线上确定与该采样射线对应的一个或多个采样点，

其中，基于所述多个采样点各自的静态密度信息、静态颜色信息、动态密度信息以及动态颜色信息，渲染目标图像，包括：

针对所述多个采样射线中的每一个采样射线，基于与该采样射线对应的一个或多个采样点各自的静态密度信息、静态颜色信息、动态密度信息以及动态颜色信息，得到对该采样射线的渲染结果，其中，所述目标图像中的多个像素对应所述多个采样射线。

4.根据权利要求3所述的方法，其特征在于，基于所述多个采样点各自的静态密度信息、静态颜色信息、动态密度信息、动态颜色信息以及动态场景概率，渲染目标图像，包括：

针对所述多个采样射线中的每一个采样射线，确定与该采样射线对应的一个或多个采样点各自的积分项，所述积分项是基于对应的采样点的静态密度信息与静态颜色信息的乘积以及所述对应的采样点的动态密度信息、动态颜色信息、与动态场景概率三者的乘积而确定的；以及

基于与该采样射线所述对应的一个或多个采样点各自的积分项进行积分，以得到与该采样射线对应的渲染结果。