[发明专利]多目相机的三维重建方法、装置、VR相机和全景相机

权利要求书

1.一种多目相机的三维重建方法，其特征在于，所述方法包括：

获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；

对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的真实尺度的物理坐标；具体包括：

对于所有三维点，若能够投影到相邻的两个摄像头，则计算点云到摄像头的像素距离与这两个摄像头的像素的平移量||t||的比例，记为k，假设有n个三维点能投影到相邻的两个摄像头上，则有k₁，k₂......k_n共n个比例值；

对k₁，k₂......k_n进行排序，取排序后的中间值，记为k_m；

测量相邻两个摄像头的物理距离，记作d，则点云的真实尺度的物理坐标为：P′＝dk_mP，其中P＝(X，Y，Z)，为点云尺度未确定的坐标，P′＝(X′，Y′，Z′)为点云的真实尺度的物理坐标。

2.如权利要求1所述的方法，其特征在于，所述获取多目相机在移动过程中每个摄像头拍摄的视频具体为：获取多目相机在移动过程中每个摄像头对静态场景分别拍摄的视频。

3.如权利要求1所述的方法，其特征在于，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正之前，所述方法还包括：

预先对多目相机的每个摄像头做摄像头内参数及摄像头外参数的标定，获取每个摄像头的相机矩阵和畸变系数。

4.如权利要求3所述的方法，其特征在于，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：

对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；

对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；

或者，

所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：

对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；

对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。

5.如权利要求1所述的方法，其特征在于，关键帧可以通过以下方式提取：

将每个摄像头拍摄的视频的第1帧图像作为关键帧；

用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：

用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；

用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和

用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。

6.如权利要求1所述的方法，其特征在于，所述根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态具体为：

根据所有摄像头拍摄的视频对应的关键帧，用SFM算法做三维重建，生成点云和摄像头的相机姿态。