[发明专利]一种容积媒体处理方法、装置、存储介质及电子装置

说明书

本发明实施例提供了一种容积媒体处理方法、装置、存储介质及电子装置，该方法包括：从容积媒体的容积视觉比特流的容器文件中识别容积视觉轨道与容积视觉视频组件轨道；解封装该容积视觉轨道，得到一个或多个图集编码子比特流，且解封装容积视觉视频组件轨道，得到对应于一个或多个图集编码子比特流的一个或多个视频编码子比特流；根据一个或多个图集编码子比特流、一个或多个视频编码子比特流生成容积媒体的3D空间区域的容积视觉数据，可以解决相关技术中无差别地访问和处理整个容积媒体数据，造成传输带宽的浪费，且带来不必要的处理复杂度的问题，根据需求处理部分容积媒体数据，避免了传输带宽的浪费，且降低了处理复杂度。

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种容积媒体处理方法、装置、存储介质及电子装置。

背景技术

传统上使用二维图像和视频实现视觉场景的捕捉，处理，存储和呈现。近年来，三维场景捕捉和渲染技术的进步促进了以高自由度、真三维为特征的三维容积媒体内容服务创新。例如，点云技术作为容积媒体内容和服务的典型代表已得到广泛应用，其中，点云帧由空间中一组彼此独立的点组成，每个点除了具有3D空间位置属性外，还可以与许多其他属性(例如颜色，反射率，表面法线等)相关联。此外，作为容积媒体的另一项应用，多视角视频以及自由视点使用真实或者虚拟相机捕获3D场景信息，支持在有限的观看位置和方向范围内以六自由度(6DoF)呈现三维3D场景。

运动图像专家组(Moving Picture Experts Group，简称为MPEG)设立MPEG-I标准化项目开展沉浸式媒体编码表示技术研究。作为成果之一，基于视频的容积视觉编码(Visual Volumetric Video-based Coding，简称为V3C)标准利用传统的基于二维(2D)帧的视频编码工具，通过将3D信息投影到2D平面上来对3D视觉信息进行编码。容积视觉比特流中包含容积视觉参数集(VPS)的容积视觉单元(V3C Unit)，图集(Atlas)编码子比特流，2D视频编码的占用图(Occupancy Map)子比特流，2D视频编码的几何(Geometry)子比特流，零个或多个2D视频编码的属性(Attribute)子比特流，以及零个或多个2D视频编码的封装视频(Packed Video)子比特流。

相关技术中容积媒体由许多容积视觉组件组成，包括图集，占用图，几何以及属性。播放终端需要同步获取和解码容积媒体的不同容积视觉组件，以重建和呈现容积媒体数据，该过程会带来较高的处理复杂度，用户终端，特别是处理能力有限的移动终端在业务实现中将面临技术挑战。另一方面，容积媒体可以为用户提供六自由度(6-DoF)的沉浸式媒体体验。在任何给定的时间，对应用户观看位置和朝向，仅一部分容积媒体是可见的。许多应用场景中，并不需要访问、解码和渲染整个容积媒体数据。无差别地访问和处理整个容积媒体数据，这不仅会造成传输带宽浪费，而且会带来不必要的处理复杂度。

针对相关技术中无差别地访问和处理整个容积媒体数据，造成传输带宽的浪费，且带来不必要的处理复杂度的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种容积媒体处理方法、装置、存储介质及电子装置，以至少解决相关技术中无差别地访问和处理整个容积媒体数据，造成传输带宽的浪费，且带来不必要的处理复杂度的问题。

根据本发明的一个实施例，提供了一种容积媒体处理方法，所述方法包括：

从容积媒体的容积视觉比特流的容器文件中识别容积视觉轨道与容积视觉视频组件轨道，其中，所述容积视觉轨道与所述容积视觉视频组件轨道对应于所述容积媒体的3D空间区域；

解封装所述容积视觉轨道，得到一个或多个图集编码子比特流，且解封装所述容积视觉视频组件轨道，得到对应于所述一个或多个图集编码子比特流的一个或多个视频编码子比特流；

解码所述一个或多个图集编码子比特流、所述一个或多个视频编码子比特流，并生成所述容积媒体的3D空间区域。