[发明专利]三维场景重建方法及设备、存储介质

说明书

本发明公开了一种三维场景重建方法及设备、存储介质，所述方法包括：获取时间戳同步的高光谱图像数据、深度数据、三原色RGB图像数据以及惯性测量单元IMU数据；根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。本发明实施例提供的方法，生成三维高光谱重建模型的时间较短，可以实现实时的三维场景重建。

技术领域

本发明实施例涉及计算机视觉技术领域，例如涉及一种三维场景重建方法及设备、存储介质。

背景技术

三维重建技术可以将现实世界，重建为计算机可读取及处理的数据，在虚拟现实，增强现实，智能导航等领域都起着至关重要的作用。目前的三维重建技术，实现方式基本上是基于三原色RGB图像数据及相机的位姿来进行三维重建，需要进行内参矩阵及外参矩阵的计算，计算量大，流程繁琐，很难实现实时性的三维重建。

发明内容

本发明实施例提供了一种三维场景重建方法及设备、存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种三维场景重建方法，所述三维场景重建方法包括：获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及惯性测量单元(Inertial measurement unit；IMU)数据；

根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；

根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；

根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。

在一些可选实施例中，所述根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿，包括：

提取每帧RGB图像的特征点；

根据每帧RGB图像的特征点及与所述RGB图像时间戳同步的IMU数据，采用运动恢复结构(Structurefrom Motion；SFM)算法，确定所述RGB图像数据中每帧RGB图像的相机位姿。

在一些可选实施例中，在所述根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图之前，还包括：

采用光束法平差(Bundle Adjustment；BA)算法对所述相机位姿进行优化。

在一些可选实施例中，所述根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型，包括：

根据点云图进行立体模型重建，得到三维立体模型；

通过光线投射算法，对所述三维立体模型进行纹理贴图，生成三维重建模型；

提取所述高光谱图像数据中光谱图像的特征点；

根据所述特征点与所述RGB图像的特征点，将所述高光谱图像匹配到所述三维重建模型中，生成三维高光谱重建模型。

在一些可选实施例中，在所述将所述高光谱图像匹配到所述三维重建模型中之前，还包括：

对所述三维重建模型进行优化处理；所述优化处理包括：裁剪、减面、平滑处理和补洞中的一种或多种。

在一些可选实施例中，所述方法，还包括：

发送所述三维高光谱重建模型至显示设备以进行显示。