[发明专利]一种应用于虚拟现实技术的流媒体的传输方法和客户端

说明书

本发明实施例公开了一种应用于虚拟现实技术的流媒体的传输方法和客户端，所述方法包括：客户端向服务器发送媒体信息获取请求，所述媒体信息获取请求包括客户端能力信息和辅助信息，其中，所述客户端能力信息指示客户端支持接收数据推送，所述辅助信息指示客户端支持虚拟现实呈现的属性；所述客户端接收媒体呈现描述和媒体数据，其中，所述媒体呈现描述和所述媒体数据是所述服务器响应所述媒体信息获取请求后发出的。根据本发明实施例的应用于虚拟现实技术的流媒体传输的方法和装置，可以降低传输时延，提高传输效率。

技术领域

本发明涉及流媒体数据处理领域，尤其涉及一种应用于虚拟现实技术的流媒体的传输方法和客户端。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，可以使用户沉浸到该环境中。VR主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。当VR视频(或者360度视频，或者全方位视频(英文：Omnidirectional video))在头戴设备和手持设备上呈现时，只有对应于用户头部的方位部分的视频图像呈现和相关联的音频呈现。

随着虚拟现实(英文：virtual reality，VR)技术的日益发展完善，360度视角等VR视频的观看应用越来越多地呈现在用户面前。全方位VR视频的内容会覆盖用户的360度的全部视野，为了给观看者提供浸入式的体验，呈现给用户的视频内容需要是正向的，也就是给用户呈现的视频内容是和自然界物体的上下方向是一致的。

在VR视频的观看过程中，用户通常视角范围可为120度*120度左右，图1是360度视频的示意图，左边深色框和右边浅色框分别是两个视角所对应的空间区域。用户A可以选择观看左边深色框的视频内容，用户B可以选择观看右边浅色框的视频内容；用户A也可以选择进行视角切换，从观看左边深色框的视频内容切换到观看右边浅色框的视频内容。

流媒体传输技术，是指将一连串的媒体数据压缩后，经过网络分段发送数据，在网络上传输以供客户端播放的一种技术。流媒体传输有顺序流式传输(ProgressiveStreaming)和实时流式传输(Realtime Streaming)两种方式。流媒体传输协议主要包括超文本传输协议(HyperText Transfer Protocol，HTTP)，实时传输协议(Real-timeTransport Protocol,RTP)、实时传输控制协议(Real-time Transport ControlProtocal,RTCP)、资源预定协议(Resource reserve Protocol)、实时流传输协议(RealTime Streaming Protocol，RTSP)，路由选择表维护协议(Routing Table MaintenanceProtocol，RMTP)等。

2011年11月，MPEG组织批准了DASH标准，DASH标准是基于HTTP协议传输媒体流的技术规范(以下称DASH技术规范)；DASH技术规范主要由两大部分组成：媒体呈现描述(英文：Media Presentation Description，MPD)和媒体文件格式(英文：file format)。在DASH标准中，媒体呈现描述被称为MPD，MPD可以是一个xml的文件，文件中的信息是采用分级方式描述，如图2所示，上一级的信息被下一级完全继承。在该文件中描述了一些媒体元数据，这些元数据可以使得客户端了解服务器中的媒体内容信息，并且可以使用这些信息构造请求segment的http-URL。