[发明专利]一种全景场景中的导航方法及系统、AR/VR客户端设备

说明书

本发明的实施例提供一种全景场景中的导航方法及全景场景中导航的系统、AR/VR客户端设备，涉及AR、VR技术领域，可实现三维动态的实时导航。全景场景中的导航方法包括：采用第一摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；第一摄像设备包括多个深度摄像机，且拍摄范围覆盖360°；中央计算设备以所有深度摄像机在同一时间拍摄的多幅图像为一帧，根据深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据并进行压缩保存；AR/VR客户端设备导入中央计算设备中保存的点云数据，按先后顺序依次针对每一帧的点云数据，根据使用者当前的位置信息和方位角渲染出对应的视角的图像，并传输至显示屏进行显示。

技术领域

本发明涉及AR、VR技术领域，尤其涉及一种全景场景中的导航方法及全景场景中导航的系统、AR/VR客户端设备。

背景技术

近几年，随着增强现实(Augmented Reality，简称AR)、虚拟现实(VirtualReality，简称VR)技术的普及，其可以实现全景视频。

但是由于这种基于AV/VR的全景视频，使用360°全景摄像机，使得用户只能在摄像机所在位置看到全景视频，在其他位置则看不到全景视频。

发明内容

本发明的实施例提供一种全景场景中的导航方法及全景场景中导航的系统、AR/VR客户端设备，可实现三维动态的实时导航。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种全景场景中的导航方法，包括：采用第一摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，所述第一摄像设备包括多个深度摄像机，多个所述深度摄像机的拍摄范围覆盖360°；所述中央计算设备以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，消除冗余数据，得到针对每一帧的点云数据，并将所述点云数据进行压缩保存；其中，同一时间每个所述深度摄像机拍摄一幅图像；AR/VR客户端设备导入所述中央计算设备中保存的所述点云数据，按所有帧中得到每一帧所述点云数据的先后顺序，依次针对每一帧的所述点云数据，根据获取的使用者当前的位置信息和方位角，渲染出与当前所述位置信息和所述方位角对应的视角的图像，并传输至显示屏进行显示。

优选的，所述方法还包括：采用第二摄像设备进行图像拍摄，并将拍摄的深度图像实时传送至中央计算设备；其中，所述第二摄像设备位于所述第一摄像设备的上方且拍摄角度朝上；所述第二摄像设备包括多个所述深度摄像机。

基于此，所述中央计算设备以所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接，包括：所述中央计算设备以所述第一摄像设备和所述第二摄像设备中所有所述深度摄像机在同一时间拍摄的多幅图像为一帧，根据所述深度摄像机的标定参数，进行点云拼接。

优选的，所述方法还包括：获取所述标定参数；其中，针对任一摄像设备，获取所述标定参数，包括：以预先设定的多面体作为标定物，所述标定物的每个面均为棋盘格，且每个面采用不同的颜色进行区分；通过变换所述标定物在空间中的角度，使摄像设备中每个所述深度摄像机拍摄的图像为所述标定物特定的一个面在多个角度下的图像，且每个所述深度摄像机将所拍摄的图像传送至中央计算设备保存；所述中央计算设备根据摄像设备中每个所述深度摄像机拍摄的针对一个特定面的多幅图像，计算所述深度摄像机的内参和外参，得到所述深度摄像机的标定参数，并保存所述标定参数。

优选的，采用ICP法、ICL法、ICT法中的一种进行点云拼接。

优选的，采用均匀采样法、倍率缩减法、弦偏移法、栅格法中的一种，将所述点云数据进行压缩保存。

进一步的，采用栅格法中的八叉树方式，将所述点云数据进行压缩保存。