[发明专利]多模态场景信息采集与重建方法及系统

说明书

本申请公开了一种多模态场景信息采集与重建方法及系统，其中，方法包括：利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器；对至少一个多模态场景信息进行整合，生成原始数据集；利用原始数据集进行场景的点云重建，并获取任一场景的点云数据。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。

技术领域

本申请涉及三维重建技术领域，特别涉及一种多模态场景信息采集与重建方法及系统。

背景技术

人类通过双眼探索并发现世界，随着计算机技术的不断更新，计算机视觉这种给计算机添加“眼睛”与“大脑”的方向越来越热门，可以使计算机独立自主地感知世界。感知设备的不断刷新，让人们不再满足于采集场景下的单一信息，而是尽可能多角度、多维度地对现实世界中的场景进行数据采集与记录，并利用采集到的数据对真实场景进行多模态的还原。因此，如何将多模态的数据更好的关联起来，将多模态数据融合在一起变得非常重要。

然而，相关技术主要利用单一的设备进行场景的数据采集，利用单一的数据形式进行场景的重建，比如使用相机进行视觉上的重建，使用激光雷达进行点云上的重建。

相关技术的不足在于：单一使用相机进行重建时，重建结果的精度不高；单一使用激光雷达进行重建时，重建结果的信息丰富度以及视距有限。

综上，相关技术有待改善。

申请内容

本申请提供一种多模态场景信息采集与重建方法及系统，以解决相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。

本申请第一方面实施例提供一种多模态场景信息采集与重建方法，包括以下步骤：利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；对所述至少一个多模态场景信息进行整合，生成原始数据集；以及利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。

可选地，在本申请的一个实施例中，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或GPS(Global Positioning System，全球定位系统)。

可选地，在本申请的一个实施例中，所述对所述至少一个多模态场景信息进行整合，生成原始数据集，包括：利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。

可选地，在本申请的一个实施例中，所述利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。

可选地，在本申请的一个实施例中，在对所述至少一个多模态场景信息进行整合之前，还包括：确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传感器之间的平移与旋转矩阵进行整合。

本申请第二方面实施例提供一种多模态场景信息采集与重建系统，包括：采集模块，用于利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；生成模块，用于对所述至少一个多模态场景信息进行整合，生成原始数据集；以及重建模块，用于利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。

可选地，在本申请的一个实施例中，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。