[发明专利]虚拟现实全景多媒体处理系统、方法及客户端设备

权利要求书

1.一种虚拟现实全景多媒体处理系统，其特征在于，包括：多个多媒体采集装置、媒体处理服务器和媒体发布服务器，

所述多媒体采集装置相应与所述媒体处理服务器连接，将采集到的携带时间戳的多路视频流发送给所述媒体处理服务器，以及将采集到的携带时间戳的多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

所述媒体处理服务器与所述媒体发布服务器连接，将接收到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给所述媒体发布服务器；

所述媒体发布服务器向用户客户端提供所述全景视频流，以供所述用户客户端生成相应的全景输出视频。

2.根据权利要求1所述的虚拟现实全景多媒体处理系统，其特征在于，所述多媒体采集装置通过网络接口与所述媒体处理服务器和所述用户客户端连接。

3.根据权利要求2所述的虚拟现实全景多媒体处理系统，其特征在于，所述网络接口包括移动通信网络接口、WIFI网络接口和宽带网络接口中的至少一个。

4.根据权利要求3所述的虚拟现实全景多媒体处理系统，其特征在于，所述多媒体采集装置通过LTE移动通信网络接口接入LTE移动通信网络。

5.根据权利要求1所述的虚拟现实全景多媒体处理系统，其特征在于，所述多媒体采集装置集成在Smallcell基站中。

6.根据权利要求1所述的虚拟现实全景多媒体处理系统，其特征在于，所述多媒体采集装置包括音频处理设备和多个麦克风，所述麦克风将采集到的音频发送给所述音频处理设备，所述音频处理设备将接收到的音频合成为所述多路音频流。

7.根据权利要求1所述的虚拟现实全景多媒体处理系统，其特征在于，所述媒体处理服务器和所述媒体发布服务器设置于移动边缘计算服务器上。

8.一种用于处理如权利要求1至7中任一权利要求所述的虚拟现实全景多媒体处理系统的所述全景视频流和所述多路音频流的客户端设备，其特征在于，包括：全景视频流和多路音频流接收装置、方位角采集装置、多媒体处理装置、视频输出装置和音频输出装置，

所述全景视频流和多路音频流接收装置与所述多媒体处理装置、媒体发布服务器和所述多媒体采集装置连接，将接收到的所述全景视频流和所述多路音频流发送给所述多媒体处理装置处理；

所述方位角采集装置与所述多媒体处理装置连接，将采集到的用户头部方位角发送给所述多媒体处理装置；

所述多媒体处理装置根据接收到的所述全景视频流、所述多路音频流和所述用户头部方位角对所述全景视频流和所述多路音频流进行处理，以生成相应的全景输出视频和全景输出音频，并将所述全景输出视频和全景输出音频相应发送给所述视频输出装置和音频输出装置进行输出。

9.根据权利要求8所述的客户端设备，其特征在于，所述多媒体处理装置根据接收到的所述全景视频流和所述多路音频流中包含的所述时间戳对所述全景视频流和所述多路音频流进行时间同步。

10.根据权利要求8所述的客户端设备，其特征在于，所述多媒体处理装置根据接收到的所述用户头部方位角对所述全景视频流和所述多路音频流进行方位同步。

11.一种虚拟现实全景多媒体处理方法，其特征在于，包括：

采集携带时间戳的多路视频流和多路音频流；

将采集到的所述多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

将采集到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给用户客户端，以供所述用户客户端生成相应的全景输出视频。