[发明专利]一种基于位置的虚拟现实压缩方法

摘要

一种基于位置的虚拟现实压缩方法，其目的在于降低VR系统的高传输带宽需求，为虚拟现实系统利用当前无线网络技术实现高质量画面帧的无线传输提供基础，其主要思路为：1)编码端将虚拟现实的连续虚拟空间离散化为不同位置的全景图集合，并将相邻位置的全景图子集组合为大量互不重合的单元；2)每个单元位于中央位置的全景图被编码压缩为关键帧，剩余的全景图则全部被编码压缩为只参考该关键帧的P帧；3)经过上述操作，编码端将虚拟现实应用的虚拟空间编码压缩为一个或多个全景视频流，解码端先解码出覆盖用户当前位置的单元的关键帧至内存，然后再根据用户的具体位置快速解码出其对应位置的P帧，从而实现用户在虚拟空间内的活动。

主权项

1.一种基于位置的虚拟现实压缩方法，利用空间中相邻位置全景图具有高度冗余的特性，借助视频编码技术，在虚拟现实场景下按照以下步骤实现：步骤(1)，编码端将VR应用的虚拟空间按照固定间隔进行离散化采样取点，对于每个位置采样点，取其全景图作为待编码的视频帧，同时编码端维护每个位置采样点的三维坐标信息作为其全景图的索引；步骤(2)，将在一定位置范围内相似的采样点组合为一个单元，VR应用的虚拟空间由一系列互不重合的单元组成，当编码端采用视频压缩技术时，每个单元就被视为一个GOP(Group of Pictures，画面组)；编码端确定单元的大小，即GOP的大小，将步骤(1)得到的一系列全景视频帧重新组合、划分为一系列互不重合的视频帧单元；步骤(3)，对于每一个单元，编码端将处于正中央的位置采样点的全景视频帧编码为该GOP的关键帧，即I帧，该单元内其他位置采样点的全景视频帧将被编码为P帧，并且只将该单元内的关键帧作为其唯一的参考帧；步骤(4)，编码端按步骤(3)的编码规则将VR应用的虚拟空间编码为一个或多个全景视频流，每个位置采样点的全景图对应这些全景视频流中不同时刻的视频帧，编码端维护一个三维坐标信息到时间戳信息的映射，并将其和GOP大小作为视频流的元信息一并传给解码端；步骤(5)，解码端根据用户当前位置，利用视频流的元信息定位到覆盖用户当前位置的单元，解码端首先将该单元的关键帧解码并存在内存中，然后再根据用户的实际位置快速解码出对应位置采样点的P帧；步骤(6)，当用户离开当前单元覆盖范围并移动至另一个单元时，解码端释放内存中当前单元的关键帧并解码下一单元的关键帧至内存。