[发明专利]一种图像重建的方法和系统

说明书

本发明公开了一种图像重建的方法、系统和计算机程序产品，该方法包括：获取一个场景的多个现有视角的图像；将所述多个现有视角的图像作为训练样本，训练一个神经辐射场模型，其中在训练过程中所述神经辐射场模型的输入为训练样本的视角以及存储在哈希表中的特征，所述存储在哈希表中的特征是通过对采样点的位置进行哈希编码，并根据编码值索引存储在哈希表中的特征来获得的；以及显示训练的神经辐射场模型对应的所述场景的三维模型。本发明公开的图像重建方法较现有技术方法重建模型精度更高，训练速度更快。

技术领域

本发明涉及图像处理，特别地，本发明涉及一种图像重建的方法、系统和计算机程序产品。

背景技术

图像重建可以基于一个场景的多个现有视角的图像建立该场景的三维模型。在图像重建的基础上，本领域技术人员可以基于建立的三维模型生成新视角的图像，该新视角不属于现有的多个视角。图像重建技术以及生成新视角的图像技术可用于智能工厂、智慧城市、VR、AR、网络购物中的商品三维重建等。

现有技术有多种图像重建方法，例如NeRF、NV、LLFF等基于神经网络的方法，以及colmap、sfm、orbslam等传统方法。基于神经网络的方法以其生成质量高的优点，现在正在被广泛使用。但是现有的基于神经网络的方法由于其使用了均匀采样和由粗到细的采样及基于频率的位置编码方法导致其训练速度慢，通常生成一个三维模型训练时间要花费8-12个小时，这也限制了其广泛的使用。

发明内容

根据本发明的一个方面，公开了一种图像重建的方法，包括：获取一个场景的多个现有视角的图像；将所述多个现有视角的图像作为训练样本，训练一个神经辐射场模型，其中在训练过程中所述神经辐射场模型的输入为训练样本的视角以及存储在哈希表中的特征，所述存储在哈希表中的特征是通过对采样点的位置进行哈希编码，并根据编码值索引存储在哈希表中的特征来获得的；以及显示训练的神经辐射场模型对应的所述场景的三维模型。

根据本发明的另一个方面，公开了一种图像重建的系统，包括：获取模块，被配置为获取一个场景的多个现有视角的图像；训练模块，被配置为将所述获取模块获取的所述多个现有视角的图像作为训练样本，训练一个神经辐射场模型，其中所述神经辐射场模型的输入为训练样本的视角以及存储在哈希表中的特征，所述存储在哈希表中的特征是通过所述训练模块包括的位置编码模块获得的，所述位置编码模块被配置为对采样点的位置进行哈希编码，并根据编码值索引存储在哈希表中的特征；以及显示模块，被配置为显示所述训练模块训练的神经辐射场模型对应的所述场景的三维模型。

根据本发明的又一个方面，公开了一种计算机程序产品，包括计算机可读存储介质，具有随其体现的计算机可读程序代码，所述计算机可读程序代码可由一个或多个计算机处理器执行，以执行上述方法。

本发明公开的技术方案较现有技术方案重建模型精度更高，训练速度更快。本发明可以应用在物体重建、场景重建、新视角生成、渲染等领域，从而应用在智能工厂、智慧城市、VR、AR、网络购物中的商品三维重建等。

附图说明

图1示出了根据一个场景的多个现有视角的图像建立该场景的三维模型的示意图；

图2示出了基于图1中建立的三维模型生成的新视角的图像的示意图；

图3示出了根据本发明实施例的一种图像重建的系统的结构框图；

图4示出了根据本发明实施例的训练模块的流程图；

图5示出了根据本发明实施例的图1对应的场景的三维模型的密度体素网格的示意图；

图6示出了根据本发明实施例的如何对密度体素网格进行采样的示意图；

图7示出了根据本发明实施例的针对一条视线上的密度体素网格采样模块的采样流程图；

图8示出了根据本发明实施例的像素颜色计算模块进行体渲染的示意图；