[发明专利]多目相机的三维重建方法、装置、VR相机和全景相机

说明书

本发明适用于计算机视觉领域，提供了一种多目相机的三维重建方法、装置、VR相机和全景相机。所述方法包括：获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。本发明可以为点云提供具体真实的物理尺度，且VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。

技术领域

本发明属于计算机视觉领域，尤其涉及一种多目相机的三维重建方法、装置、VR相机和全景相机。

背景技术

现有技术对机器人的定位和导航，通常利用基于普通镜头的多目相机采集图像，然后通过SFM(Structure From Motion，运动恢复结构)算法进行三维重建。然而普通镜头的视场角比较窄，采集的图像不能覆盖完整的角度，相邻两个镜头的重合度比较低，因此三维重建的鲁棒性较差。

发明内容

本发明的目的在于提供一种多目相机的三维重建方法、装置、计算机可读存储介质、VR相机和全景相机，旨在解决基于普通镜头的多目相机采集的图像进行三维重建的鲁棒性较差的问题。

第一方面，本发明提供了一种多目相机的三维重建方法，所述方法包括：

获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；

对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

第二方面，本发明提供了一种多目相机的三维重建装置，所述装置包括：

视频获取模块，用于获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；

关键帧提取模块，用于对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

三维重建模块，用于根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的多目相机的三维重建方法的步骤。

第四方面，本发明提供了一种VR相机，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的多目相机的三维重建方法的步骤。

第五方面，本发明提供了一种全景相机，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的多目相机的三维重建方法的步骤。