[发明专利]一种基于VR头戴显示设备的远程实景增强现实方法

说明书

本申请公开了一种基于VR头戴显示设备的远程实景增强现实方法，包括以下步骤：步骤S100：在远端采用摄像设备实时采集远程实景视频，得到远端场景的远程实景视频；对得到的远程实景视频进行深度计算，得到远程实景视频的深度信息；步骤S200：以步骤S100得到的远程实景视频的深度信息构建场景结构，将虚拟对象与远程实景视频进行融合，获得虚实融合后的图像数据；步骤S300：截取虚实融合后的图像数据，通过网络将虚实融合后的图像数据实时发送至客户端。本发明的优点在于克服了现有的VR直播类软件只能被动观看推送的直播画面、无法叠加虚拟模型、画质较低、沉浸感不强、有效传输距离受限等不足。

技术领域

本发明涉及一种基于VR头戴显示设备的远程实景增强现实方法，属于虚拟现实领域。

背景技术

随着虚拟现实技术、5G网络的普及，VR+直播这种新颖的直播方式逐渐成为新的媒体应用趋势。基于VR技术的直播可以为用户提供优质的直播画面，使用户沉浸在充满真实感的情景中，让直播变得更真实、立体，带给用户强烈的视觉冲击，从而激发用户的兴趣。2020珠峰高程测量登山队成功登顶珠峰，其中就用到了VR+5G的技术进行全景直播，使普通人就能在雪域高原云游世界之巅，打破时间与空间限制，畅享手可摘星辰，云海观日出的沉浸式体验。但现有的VR+直播方式，用户依旧停留在传统的“你播我看”阶段，只能被动观看推送的直播画面。大疆推出的Goggles飞行眼镜能够以第一人称视角的画面辅助用户操作无人机，带给用户沉浸式的飞行体验，但也受到了有效传输距离的限制。另外，目前现有的VR直播平台，用户接收到的画面画质不高，内容同质化严重，时延高，导致沉浸感不强。

发明内容

本发明提供一种基于VR头戴显示设备的远程实景增强现实方法，克服了现有的VR直播类软件只能被动观看推送的直播画面、无法叠加虚拟模型、画质较低、沉浸感不强、有效传输距离受限等不足。

本发明采取的技术方案是，一种基于VR头戴显示设备的远程实景增强现实方法，包括以下步骤：

步骤S100：在远端采用摄像设备实时采集远程实景视频，得到远端场景的远程实景视频；对得到的远程实景视频进行深度计算，得到远程实景视频的深度信息；

步骤S200：以步骤S100得到的远程实景视频的深度信息构建场景结构，将虚拟对象与远程实景视频进行融合，获得虚实融合后的图像数据；

步骤S300：截取虚实融合后的图像数据，通过网络将虚实融合后的图像数据实时发送至客户端；

步骤S400：客户端接收网络传输的虚实融合后的图像数据，并使用VR头戴显示设备进行显示播放；

步骤S500：通过VR头戴显示设备获取用户的动作数据，再经网络传送，实时控制远程采集设备随动。

优化的，上述基于VR头戴显示设备的远程实景增强现实方法，在步骤S100中，在远端采用外摄机器人作为摄像设备，外摄机器人采集多角度、广角度的实时视频图像；然后通过软件对视频图像进行深度计算，得到所拍摄实景的视频数据和深度信息；所述外摄机器人包括成对设置的双目摄像头、二自由度云台、计算通信模块和小车构成；双目摄像头固定在云台上，云台和计算通信模块则固定在小车上；所述计算通信模块包括负责深度计算的计算模块、用于场景构建与虚实融合的渲染模块和对数据进行无线传输无线通信模块；所述外摄机器与客户端之间通过云服务器进行数据传输；所述客户端由数据接收处理设备和VR头戴显示设备组成，云服务器包括Web服务器和信令服务器。

优化的，上述基于VR头戴显示设备的远程实景增强现实方法，步骤S200的具体过程包括：

S201、根据步骤S100得到的深度信息，构建出3D场景结构；将3D场景结构与采集的2D视频图像相结合，渲染出3D场景；

S202、将计算机生成的几何虚拟对象导入3D场景中；