[发明专利]基于空间可伸缩编码的交互式全景视频转码与播放方法及系统

摘要

本发明公开了一种基于空间可伸缩编码的交互式全景视频转码与播放方法及系统，其将原始视频分成多个分辨率不同的空间层视频数据，再将每层数据按tile形式划分，根据用户的操作指令将ROI投影到各层视频上，基于视频缩放系数最趋近于1的原则，选择最合适的空间层视频数据以及对应的Tile，进行转码重写，其他未选定的数据则以skip数据流填充以减少带宽，保证兼容性。本发明能够根据不同的带宽环境，给用户播放最适合播放窗口分辨率的视频数据，具有空间可伸缩、空间分辨率自适应匹配等特点，能够使用户更好的享受交互视频的自然场景或虚拟场景的三维沉浸视觉感受、无缝式视点切换与灵活的人机交互特性。

主权项

1.一种基于空间可伸缩编码的交互式全景视频转码与播放方法，包括如下步骤：(1)通过源地址获取超高清的原始全景视频，通过高斯金字塔对原始全景视频进行空间下采样，得到多组不同分辨率的空间层视频数据；这些空间层视频数据的分辨率从上往下依次减小，即利用高斯核与上一层视频数据G_i的卷积和移除G_i中的偶数行和偶数列，从而得到当前空间层视频数据G_i+1，依此得到多组不同分辨率的空间层视频数据；(2)将所述空间层视频数据划分成多个Tile，每个Tile大小为N×N，N＝2ⁿ且n为大于0的自然数；(3)根据用户的pan/tilt/zoom操作指令确定ROI的位置，该ROI即为用户当前观看的视频窗口；具体地，采用卡尔曼滤波算法预测用户的pan/tilt/zoom操作指令，即用户播放器终端根据信号与噪声的状态空间模型，利用前一时刻pan/tilt/zoom操作指令的估计值和当前时刻pan/tilt/zoom操作指令的观测值来更新对pan/tilt/zoom操作指令的估计，求出当前时刻pan/tilt/zoom操作指令的估计值，从而确定ROI的位置，并将预测得到的ROI位置信息实时地反馈给转码分发服务器，以减少交互延时；(4)根据用户播放器终端的分辨率以及各空间层视频数据的分辨率，基于视频缩放系数最趋近于1的原则即空间层视频数据分辨率与用户播放器终端分辨率最接近的原则，从而选取最适合用户播放器终端分辨率的一组空间层视频数据，并将ROI投影到该空间层视频数据上；(5)将该空间层视频数据上ROI所覆盖占用的Tile转码重写成标准码流，其余Tile以Skip数据流填充并采用Skip模式进行编码，进而将得到的视频码流传输给用户播放器终端，由终端对其解码后进行播放显示。