[发明专利]一种图像重建的方法和系统

权利要求书

1.一种图像重建的方法，包括：

获取一个场景的多个现有视角的图像；

将所述多个现有视角的图像作为训练样本，训练一个神经辐射场模型，其中在训练过程中所述神经辐射场模型的输入为训练样本的视角以及存储在哈希表中的特征，所述存储在哈希表中的特征是通过对采样点的位置进行哈希编码，并根据编码值索引存储在哈希表中的特征来获得的；以及

显示训练的神经辐射场模型对应的所述场景的三维模型。

2.根据权利要求1所述的方法，该方法还包括：

响应于接收到显示所述场景的所述三维模型的一个新视角的图像的请求，根据训练的神经辐射场模型，输出所述场景的所述三维模型的所述新视角的图像。

3.根据权利要求1或2所述的方法，其中所述训练一个神经辐射场模型的步骤包括：

通过密度体素网格采样获得所述多个训练样本上多个像素对应的多条视线上的多个采样点；

对所述多个采样点的位置进行哈希编码；

根据所述哈希编码得到的编码值索引存储在所述哈希表中的特征；

基于所述多个训练样本的视角和所述存储在哈希表的特征，计算所述多个采样点的颜色和密度；

利用体渲染将所述多个采样点通过密度积分计算出所述多个像素的颜色，作为所述神经辐射场模型的输出的多个像素的颜色；

通过将所述神经辐射场模型的输出的所述多个像素的颜色和训练样本的相同位置的所述多个像素的真实颜色进行比较计算损失函数；以及

利用计算的损失函数调整所述哈希表中存储的特征和所述神经辐射场模型中的其他参数。

4.根据权利要求3所述的方法，其中所述训练一个神经辐射场模型的步骤进一步包括：

判断所述哈希中存储的特征和所述神经辐射场模型中的其他参数是否达到预定要求；

响应于所述哈希中存储的特征和所述神经辐射场模型中的其他参数没有达到所述预定要求，继续训练所述神经辐射场模型；以及

响应于所述哈希中存储的特征和所述神经辐射场模型中的其他参数达到所述预定要求，输出训练后的神经辐射场模型。

5.根据权利要求3所述的方法，其中所述训练一个神经辐射场模型的步骤进一步包括：

判断训练次数是否达到预定次数；

响应于所述训练次数没有达到所述预定次数，继续训练所述神经辐射场模型；以及

响应于所述训练次数达到所述预定次数，输出训练后的神经辐射场模型。

6.根据权利要求1-5之一所述的方法，其中所述对采样点的位置进行哈希编码，并根据编码值索引存储在哈希表中的特征包括：

将所述三维模型的图像重建空间表示为多个离散体素的组合；

获得所述图像重建空间的位置坐标对应的离散体素的位置；

将获得的离散体素的位置进行哈希编码；

获得所述哈希编码的下标；以及

根据所述哈希编码的下标获得所述哈希表中存储的特征。

7.根据权利要求6所述的方法，其中所述将获得的离散体素的位置进行哈希编码中使用多分辨率哈希表示方法，该多分辨率哈希表示方法将空间表示为不同分辨率的离散体素，使用或训练神经辐射场模型时将不同分辨率哈希表中的特征拼接为一个向量，再进行后续计算。

8.根据权利要求6所述的方法，其中所述将获得的离散体素的位置进行哈希编码中使用连续或局部连续哈希表示方法，所述连续或局部连续哈希表示方法通过连续或局部连续哈希函数进行哈希映射。

9.根据权利要求7或8所述的方法，其中所述哈希表是采用生成对抗网络(GAN)或者扩散生成模型(diffusion models)方法生成的。

10.根据权利要求6所述的方法，其中所述将获得的离散体素的位置进行哈希编码中使用可微哈希函数，该可微哈希函数使哈希函数的参数或函数定义是可微的，从而通过反向传播优化所述哈希函数。