[发明专利]一种基于无人机全景视频的虚拟现实直播系统

权利要求书

1.一种为用户提供模拟VR飞行体验的基于无人机全景视频的虚拟现实直播系统，其特征在于，所述系统包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备，所述无人机内设置有VR处理器，并且无人机搭载有全景视频相机，所述无人机与移动控制端采用无线数据连接，所述移动控制终端为针对无人机飞行平台的移动控制装置，所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接，其中，

所述全景视频相机包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息；

所述VR处理器作为VR图像处理中心，接收所述360°全景视频以及全景视频相机参数，确定场景内各目标的相关信息，最终生成三维全景视频，所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度；

所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；

所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，根据直播用户需求进行实时转播；以及用于根据直播用户需求配置离线缓存后进行用户体验转播；所述沉浸式可视设备还用于从VR直播云服务器中下载用户选择的三维全景视频离线缓存实现全景体验或模拟VR飞行；

所述沉浸式可视设备具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示；

以及用于佩戴在用户各部位的各种可穿戴智能传感器，所述可穿戴智能传感器用于捕捉人体动作运动趋势，并实时转换为控制指令，通过VR直播云服务器、移动控制终端发送至前端的无人机，无人机更新控制信息和飞行状态；所述VR处理器还用于将根据无人机最新状态虚拟出现实模型，模拟出操控者和无人机人机一体的个体模型，并将所述个体模型插入到所述三维全景视频中，得到完整的VR场景；

用户可选择跟随所述基于无人机全景视频的虚拟现实直播系统进行飞行VR体验，只进行立体三维环游，且飞行状态跟随当前的前端无人机控制；

用户可点播所述VR直播云服务器已录制的三维全景视频，以自由模拟VR飞行，实现全景漫游和交互；

用户可选择实时在线控制VR体验，以在体验立体三维场景视频的同时通过所述可穿戴智能传感器控制当前无人机的实时飞行，并通过请求权限确保无人机飞行控制的唯一性。

2.如权利要求1所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述VR处理器包括：

实时场景抓取模块，用于当用户选定无人机直播频道之后，接收前端无人机的全景视频相机采集的实时场景信息；

全景拼接成像模块，用于将接收到的实时场景信息，进行实时360度全景图像拼接，单帧的360度全景成像信息开始生成，得到360°全景视频；

立体三维建模模块，用于通过拼接的360°全景视频信息和全景视频相机参数，并结合无人机的遥测定位信息，开始执行立体三维建模，该模型具备场景内所有目标的空间位置、距离、大小、方位、速度相关信息。

3.如权利要求1-2任一项所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述无人机与移动控制端采用的无线数据连接，包括所有基于无线射频传输图像或控制状态数字信息的传输方式，用于无线传递三维全景视频和状态控制信息，可以为各种频段的射频传输、WIFI或编码正交频分复用COFDM。

4.如权利要求3所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述VR直播云服务器与移动控制终端、可视设备采用的互联网或者虚拟专用网连接方式，具备高速度高带宽，能满足三维全景视频的传输需要，能够传播无人机回传的三维全景视频和无人机的状态控制信息。

5.如权利要求4所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所VR直播云服务器采用云存储、云计算和云负载均衡技术，可以缓存一路或多路三维全景视频，并根据直播用户需要进行高速转播。