[发明专利]三维场景重建方法及设备、存储介质

权利要求书

1.一种三维场景重建方法，其特征在于，所述方法包括：

获取时间戳同步的高光谱图像数据、深度数据、三原色RGB图像数据以及惯性测量单元IMU数据；

根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；

根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；

根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型；

其中，所述根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿，包括：

提取每帧RGB图像的特征点；

根据每帧RGB图像的特征点及与所述RGB图像时间戳同步的IMU数据，采用运动恢复结构SFM算法，确定所述RGB图像数据中每帧RGB图像的相机位姿。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图之前，还包括：

采用光束法平差BA算法对所述相机位姿进行优化。

3.根据权利要求1所述的方法，其特征在于，所述根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型，包括：

根据点云图进行立体模型重建，得到三维立体模型；

通过光线投射算法，对所述三维立体模型进行纹理贴图，生成三维重建模型；

提取所述高光谱图像数据中光谱图像的特征点；

根据所述特征点与所述RGB图像的特征点，将所述高光谱图像匹配到所述三维重建模型中，生成三维高光谱重建模型。

4.根据权利要求3所述的方法，其特征在于，在所述将所述高光谱图像匹配到所述三维重建模型中之前，还包括：

对所述三维重建模型进行优化处理；所述优化处理包括：裁剪、减面、平滑处理和补洞中的一种或多种。

5.根据权利要求1所述的方法，其特征在于，还包括：

发送所述三维高光谱重建模型至显示设备以进行显示。

6.根据权利要求1所述的方法，其特征在于，还包括：

接收操作控制指令；

根据所述操作控制指令执行相应的控制操作。

7.根据权利要求6所述的方法，其特征在于，当所述操作控制指令为信息重新采集控制指令时，执行所述获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据的步骤。

8.根据权利要求6所述的方法，其特征在于，当所述操作控制指令为模型视图控制指令时，根据所述模型视图控制指令放大、缩小或移动所述三维高光谱重建模型，并发送选定区域对应的高光谱图像数据。

9.一种三维场景重建设备，其特征在于，包括：深度相机、RGB相机、高光谱相机和IMU，以及与所述深度相机、RGB相机、高光谱相机和IMU连接的控制终端；所述控制终端包括至少一个处理器；

所述处理器被配置为运行存储在计算机可读存储介质中的计算机指令以执行权利要求1-8中的任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时实现权利要求1-8中的任一项所述的方法。