[发明专利]适用于蜂窝网络的VR全景视频优化传输方法

权利要求书

1.一种适用于蜂窝网络的VR全景视频优化传输方法，其特征至于，具体步骤为：

（1）VR全景视频的投影、压缩、切片与分块

首先将VR全景视频投影映射到平面视频，然后使用平面视频的压缩算法进行压缩与解压；这里，所述投影采用等距柱状投影技术，其在投影映射过程中球的经纬线距离不变，采样密度从赤道向两极逐渐增大，直到极点处达到无穷大；所述压缩算法采用平面视频压缩算法；

对视频进行切片，用于应对用户头部转动时视窗的切换，经过大量实验统计，用户头部保持不动的平均时长在2秒左右，因此这里选择2秒作为切片长度；

对单帧全景图像进行分块，为之后的显著性检测标定焦点区域提供便捷，分块操作：以左上角为坐标原点，每个区块以一个(x,y)坐标标定；选择边长为64像素的方块时，对于4K（4096×2160）分辨率的屏幕，传输的区块数量为64*34或65*35；

（2）使用显著性检测对视频进行多焦点的冗余存储

对视频进行显著性检测标定在全景视频中最有可能被凝视的区域；这里采用深度学习中的3D卷积神经网络技术对样本视频进行有监督学习，得到一个预测效果良好的模型用于预测显著区域，并且随着数据量的增大和用户反馈的坐标信息进一步优化模型，以达到更高的准确率；3D卷积神经网络的输入视频采样频率为2帧/秒，每次输入4张图片进行预测；

显著性区域标定完成后，进行进一步加工，以保证标定区域在时间上的连贯性；随后进行多焦点的冗余存储，具体操作是：将每个全景视频片段复制三个版本，分别对应三个位置的视角，每个版本的画面尺寸与原视频一致，但是不同的区块的分辨率不同，可视范围内的所有区块以高质量画质压缩存储，非可视范围内的区块，只将做了显著性标定的区域压缩为高画质，其他区域压缩为低画质；

（3）视窗自适应传输协议

视窗自适应传输协议具体如下：该协议是基于UDP的应用层协议，特点是无连接、不可靠传输；客户端根据VR头盔当前旋转角度计算视窗在坐标轴上的坐标，向服务器端发送帧计数和坐标，服务器端则保持监听状态，收到来自客户端的请求后，根据这个坐标信息计算当前视窗所在全景图的区域，返回对应版本的全景图；客户端将收到的视频帧暂存在缓冲区；由于网络延时等原因，视频帧可能存在接收顺序打乱的问题，对此问题客户端有两种处理方式：对于还未过时的视频帧插入缓冲区，对于已经过时的视频帧则直接舍弃；

视窗自适应传输协议保证视频流即时传输时有一定缓冲空间，避免由于视频帧丢失造成卡顿；缓冲区的大小与预设定的VR视频最大延迟有关；

（4）基于头部运动方向预测的预传输

使用机器学习的方法，建立一个方向预测模型，以用户过去一段时间头部的运动轨迹为样本预测将来的方向；这里，所述方向预测模型采用加权线性模型，利用这个预测模型，服务端预测出客户端下一段时间需要的视频片段，通过预传输的方式有效提高客户端视频流畅度。