[发明专利]虚拟现实全景多媒体处理系统、方法及客户端设备

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种虚拟现实全景多媒体处理系统、方法及客户端设备。

背景技术

目前基于娱乐、训练等方面的考虑，为了给用户身临其境的体验，虚拟现实（VirtualReality，简称VR）技术得到了快速发展。

用户通过佩戴带显示装置的头盔或眼镜，阻断了人眼与现实世界的视觉连接，通过设备实时渲染的画面，可以为用户营造出一个全新体验的全景世界。

虚拟现实技术可广泛的应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、教育培训等众多领域。

但是受技术条件的限制，目前大部分虚拟现实直播或录播系统，仅仅实现了360度的全景视频。由于目前的技术限制，其声音需要单独采集，后期再合成到处理好的360度全景视频中。这样就虚拟现实直播无法实现实时的360度全景音频直播，其只能将非全景音频合成进来，这样就导致用户体验的降低。

此外现有技术的全景摄像头和媒体处理服务器一般采用视频线连接。一台全景摄像头装置必须配置一套媒体处理服务器进行处理，这样就导致系统设备成本的增加。

因此，如何提供一种高效且经济的虚拟现实多媒体系统就成为亟待解决的问题。

发明内容

为解决现有技术无法提供高效且经济的虚拟现实多媒体系统的问题，本发明提供了一种虚拟现实全景多媒体处理系统，包括：包括：多个多媒体采集装置、媒体处理服务器和媒体发布服务器，

所述多媒体采集装置相应与所述媒体处理服务器连接，将采集到的携带时间戳的多路视频流发送给所述媒体处理服务器，以及将采集到的携带时间戳的多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

所述媒体处理服务器与所述媒体发布服务器连接，将接收到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给所述媒体发布服务器；

所述媒体发布服务器向用户客户端提供所述全景视频流，以供所述用户客户端生成相应的全景输出视频。

所述多媒体采集装置通过网络接口与所述媒体处理服务器和所述用户客户端连接。

所述网络接口包括移动通信网络接口、WIFI网络接口和宽带网络接口中的至少一个。

所述多媒体采集装置通过LTE移动通信网络接口接入LTE移动通信网络。

所述多媒体采集装置集成在Smallcell基站中。

所述多媒体采集装置包括音频处理设备和多个麦克风，所述麦克风将采集到的音频发送给所述音频处理设备，所述音频处理设备将接收到的音频合成为所述多路音频流。

所述媒体处理服务器和所述媒体发布服务器设置于移动边缘计算服务器上。

本发明还提供了一种用于处理虚拟现实全景多媒体处理系统的所述全景视频流和所述多路音频流的客户端设备，包括：全景视频流和多路音频流接收装置、方位角采集装置、多媒体处理装置、视频输出装置和音频输出装置，

所述全景视频流和多路音频流接收装置与所述多媒体处理装置、媒体发布服务器和所述多媒体采集装置连接，将接收到的所述全景视频流和所述多路音频流发送给所述多媒体处理装置处理；

所述方位角采集装置与所述多媒体处理装置连接，将采集到的用户头部方位角发送给所述多媒体处理装置；

所述多媒体处理装置根据接收到的所述全景视频流、所述多路音频流和所述用户头部方位角对所述全景视频流和所述多路音频流进行处理，以生成相应的全景输出视频和全景输出音频，并将所述全景输出视频和全景输出音频相应发送给所述视频输出装置和音频输出装置进行输出。

所述多媒体处理装置根据接收到的所述全景视频流和所述多路音频流中包含的所述时间戳对所述全景视频流和所述多路音频流进行时间同步。

所述多媒体处理装置根据接收到的所述用户头部方位角对所述全景视频流和所述多路音频流进行方位同步。

本发明还提供了一种虚拟现实全景多媒体处理方法，包括：

采集携带时间戳的多路视频流和多路音频流；

将采集到的所述多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

将采集到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给用户客户端，以供所述用户客户端生成相应的全景输出视频。