[发明专利]视频编码的方法、装置、电子设备及存储介质

说明书

本申请实施例提供一种视频编码的方法、装置、电子设备及存储介质，所述方法包括：获取至少一个视觉三维场景的体积数据；将体积数据转换为点云数据；将点云数据投影到二维图像上；对投影到二维图像上的点云数据进行编码；以及组成媒体文件，所述媒体文件封装了元数据和已编码的点云数据，所述元数据指示六自由度媒体。

交叉引用

本申请要求于2019年6月28日在美国专利和商标局提交的第US62/868,797号临时申请以及2020年6月23日在美国专利和商标局提交的第16/909,314号美国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及一组高级视频编码技术，包括点云数据的观察位置(View-position)和角度相关处理(Angle dependent processing)的改进方案。

背景技术

在不允许针对其他维度的有效流式传输的情况下，虚拟现实的流式传输，例如图像和音频的流式传输，会将用户的观看体验限制为一种全景图像的体验，全景图像的体验允许该用户在x轴、y轴、z轴环境下从不同角度观看图像的不同部分，该全景图像类似于三维图像，而所述其他维度可以使用户除了在这些位置中的至少一个位置处的不同角度观看之外，还可以从前/后、上/下和左/右的不同的观察位置来体验这种虚拟现实。

因此，现有技术中除了x轴、y轴、z轴环境下的不同角度的流式传输外，不允许其他维度的有效流式传输，也即用户无法从前/后、上/下和左/右的不同的观察位置来体验这种虚拟现实，而用户从多个维度体验虚拟现实会造成全景视频和/或图像数据量增大，进而造成全景视频系统的处理效率低下，针对此类问题亟需对应的技术方案来解决。

发明内容

本申请实施例包括一种视频编码的方法、装置、电子设备及存储介质。

本申请实施例提供的视频编码的方法，包括：获取至少一个视觉三维3D场景的体积数据；将所述体积数据转换为点云数据；将所述点云数据投影到二维2D图像上；对投影到所述2D图像上的所述点云数据进行编码；以及组成媒体文件，所述媒体文件封装了元数据和已编码的所述点云数据，所述元数据指示六自由度6DoF媒体。

本申请实施例提供的视频编码的装置，包括：

选择模块，用于获取至少一个视觉三维3D场景的体积数据；

转换模块，用于将所述体积数据转换为点云数据；

投影模块，用于将所述点云数据投影到二维2D图像上；

编码模块，用于对投影到所述2D图像上的所述点云数据进行编码；以及

组成模块，用于组成媒体文件，所述媒体文件封装了元数据和编码的所述点云数据，所述元数据指示六自由度6DoF媒体。

本申请实施例还提供一种非易失性计算机可读存储介质，所述存储介质存储有多条指令，可以使至少一个处理器执行本申请实施例所述的方法。

本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。

通过本申请实施例的技术方案，可以对点云数据的特定部分而进行更有效的处理，使得播放器可聚焦于点云数据中比其它部分更高质量的图像，而不传送未被使用的部分，进而提高全景视频系统的效率。

附图说明

根据以下具体实施方式和附图，所公开的主题的其他的特征、性质和各种优点将更加显而易见，其中：

图1是根据本公开的实施例的通信系统的简化框图；

图2是本公开的实施例的视频编码器和视频解码器在流式传输环境中的放置方式的示例；