[发明专利]适用于蜂窝网络的VR全景视频优化传输方法

说明书

本发明属于计算机网络应用层协议技术领域，具体为一种适用于蜂窝网络的VR全景视频优化传输方法。本发明方法包括：VR全景视频的投影、压缩、切片与分块；使用显著性检测对视频进行多焦点的冗余存储，其中采用3D卷积神经网络对样本视频进行有监督学习，得到预测模型用于预测显著区域，随后进行多焦点的冗余存储；视窗自适应传输协议，该协议是基于UDP的应用层协议，并保证视频流即时传输时有缓冲空间；基于头部运动方向预测的预传输，使用机器学习方法，建立方向预测模型，利用预测模型，预测出客户端下一段时间需要的视频片段，通过预传输的方式有效提高客户端视频流畅度。本发明模型简单，可以显著提升传输效率，保证实时性。

技术领域

本发明属于计算机网络应用层协议技术领域，具体涉及一种在蜂窝网络下高效传输VR全景视频的传输方法。

背景技术

从近年全球VR（虚拟现实）产品出货量来看，消费级VR一体机将成为未来很长一段时间的市场主流趋势，并且随着5G网络的普及，VR一体机即将搭载5G芯片，在蜂窝网络环境下实现设备端与服务器端的通信。随着VR内容制作越来越精良、视频质量越来越高，对蜂窝网络的带宽、延迟要求也远远高于普通的平面视频，而现有的VR全景视频传输技术多是基于传统平面视频传输方法的简单改进，难以适应超高质量VR全景视频的传输，因此迫切需要一种高效的VR视频专用传输方法。

当前VR全景视频传输方法主要有两种：一是服务器端向设备端直接传输全景视频；二是服务器端根据设备端反馈的实时坐标传输当前的局部视窗。

上述第一种方法机理较为简单，与用于平面视频的流媒体技术相似，服务器端直接向设备端传输VR全景视频，除此之外几乎没有额外的操作，在客户端进行坐标转换，展现当前的局部视窗。这种传输方法会导致浪费大量网络带宽、网络延迟较高，并且大大增加设备端的负担，不仅对VR设备实时处理能力要求极高，还浪费了设备电能。

上述第二种方法则是略有改进的传输方法，即根据VR设备视窗大小对全景视频进行切割，在服务器端进行坐标转换，向设备端传输当前的局部视窗。这种方法虽然节省了带宽，但是VR设备的交互性大打折扣：视窗随着用户头部的转动需要及时刷新，否则会出现图像拖尾、视频卡顿等严重影响用户体验的情况。而以当前的网络延迟，很难满足如此高的视频刷新率，另外，实时分割传输视频也增加了服务器的负担。

综上所述，现有技术存在以下缺点：①大量浪费网络带宽、网络延迟较高；②服务端、设备端开销过大，难以保证实时性；③对设备端性能要求较高，不符合瘦终端的市场需求。

发明内容

本发明旨在克服现有技术的不足，提供一种适用于蜂窝网络的VR全景视频优化传输方法，以解决传统VR全景视频传输中对蜂窝网络带宽浪费较多、网络延迟较高、服务器与设备端开销过大等问题。

本发明提供的适用于蜂窝网络的VR全景视频优化传输方法，具体步骤为：

（1）VR全景视频的投影、压缩、切片与分块

由于目前还没有可以直接用于360度全景视频压缩的算法，因此首先需要将VR全景视频投影映射到平面视频，然后使用平面视频的压缩算法进行压缩与解压。这里采用的投影技术是等距柱状投影（Equi-Rectangular Projection,简称ERP），这种投影的特点是映射过程中球的经纬线距离不变，采样密度从赤道向两极逐渐增大，直到极点处达到无穷大，如图1所示。视频压缩算法可以视情况选择平面视频压缩算法，这里采用的是目前最常用的H264压缩算法。

对视频进行切片是为了灵活应对用户头部转动时视窗的切换，经过大量实验统计，用户头部保持不动的平均时长在2秒左右，因此这里选择2秒作为切片长度。

对单帧全景图像进行分块是为之后的显著性检测标定焦点区域提供便捷，分块操作如图2所示，以左上角为坐标原点，每个区块以一个(x,y)坐标标定，这里选择边长为64像素的方块，则对于4K（4096×2160）分辨率的屏幕，需要传输的区块数量为64*34(或65*35)。