[发明专利]一种三维重建方法、装置、电子设备及存储介质

说明书

本发明提供一种三维重建方法、装置、电子设备及存储介质，包括：根据第一深度三原色图像的第一点云信息，计算第一深度三原色图像在世界坐标系下的第二点云信息；第一深度三原色图像是所获取的连续多帧深度三原色图像中的任一帧图像；将第二点云信息存储到预设体素网格集合中，计算第二点云信息在每个预设体素网格中的隐向量，得到第一深度三原色图像对应的第一概率局部隐式体素；根据第一概率局部隐式体素中的隐向量，更新历史概率局部隐式体素中的隐向量，得到第一深度三原色图像对应的隐式三维场景表示。本发明的方法，通过基于隐式场的实时三维重建，构造一种先进的概率局部隐式体素以消除几何不确定性影响，实现高质量的三维场景重建。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种三维重建方法、装置、电子设备及存储介质。

背景技术

得益于商业深度传感器的普及，实时的三维稠密重建在近十年得到了长足的发展。大多数的深度融合算法，着眼于利用光束法平差或者回环检测来实现全局连续的三维重建。然而在此之后，三维场景本身的底层表示就鲜有发展。同时，由于传感器噪声或扫描模糊如视图遮挡引起的几何不确定性，重建结果很可能会带有许多不完整区域，其几何质量也常难以令人满意。

因此，如何解决传感器噪声或扫描模糊如视图遮挡引起的几何不确定性，更好地实现三维场景重建，已成为业界关注的研究重点。

发明内容

本发明提供一种三维重建方法、装置、电子设备及存储介质，用以解决传感器噪声或扫描模糊如视图遮挡引起的几何不确定性，更好地实现三维场景重建。

本发明提供一种三维重建方法，包括：

根据第一深度三原色图像的第一点云信息，计算所述第一深度三原色图像在世界坐标系下的第二点云信息；

其中，所述第一深度三原色图像是所获取的连续多帧深度三原色图像中的任一帧图像；

将所述第二点云信息存储到预设体素网格集合中，计算所述第二点云信息在每个预设体素网格中的隐向量，得到所述第一深度三原色图像对应的第一概率局部隐式体素；

根据所述第一概率局部隐式体素中的隐向量，更新历史概率局部隐式体素中的隐向量，得到所述第一深度三原色图像对应的隐式三维场景表示；

其中，所述历史概率局部隐式体素中的隐向量是根据所述第一深度三原色图像之前每一帧图像的点云信息得到的。

根据本发明提供的三维重建方法，所述根据第一深度三原色图像的第一点云信息，计算所述第一深度三原色图像在世界坐标系下的第二点云信息，具体为：

根据第一深度三原色图像的第一点云信息，求解所述第一深度三原色图像对应的相机位姿；

根据所述相机位姿，计算所述第一深度三原色图像在世界坐标系下的第二点云信息。

根据本发明提供的三维重建方法，将所述第二点云信息存储到预设体素网格集合中，计算所述第二点云信息在每个预设体素网格中的隐向量，具体为：

根据所述第二点云信息的坐标信息，将所述第二点云信息中的各个点存储到预设体素网格集合中，得到所述预设体素网格集合中每个网格内的第二点云子信息；

计算所述每个网格内第二点云子信息中每个点的隐向量，对所述每个网格内每个点的隐向量进行加权平均，得到所述第二点云信息在每个预设体素网格中的隐向量。

根据本发明提供的三维重建方法，根据所述第一概率局部隐式体素中的隐向量，更新历史概率局部隐式体素中的隐向量，得到所述第一深度三原色图像对应的隐式三维场景表示，具体为：

将所述第一概率局部隐式体素中的隐向量与所述历史概率局部隐式体素中的隐向量进行加权平均，得到更新后的概率局部隐式体素中的隐向量；