[发明专利]基于投影的网格压缩

说明书

本文中描述了一种使用基于投影的方法，并利用已经为基于投影的点云压缩生成的工具和语法来压缩未跟踪和跟踪网格的方法。类似于V‑PCC方法，网格被分割成表面面元，其中不同之处在于分割遵循网格的连通性。每个表面面元(或3D面元)随后被投影到2D面元，从而在网格情况下，三角形表面采样类似于在计算机图形学中使用的常见光栅化方法。对于每个面元，投影顶点的位置连同这些顶点的连通性一起保存在列表中。采样的表面类似于点云，并且采用用于点云压缩的相同方法进行编码。另外，每个面元地对顶点和连通性的列表进行编码，并将数据连同编码的点云数据一起发送。

相关申请的引用

本申请要求2020年3月18日提交的序列号为62/991,128的美国临时专利申请“PROJECTION-BASED MESH COMPRESSION”的按照35U.S.C.§119(e)的优先权，该申请通过引用整体包含在本文中。

技术领域

本发明涉及三维图形。更具体地，本发明涉及三维图形的编码。

背景技术

最近，基于从3D到2D的投影来压缩点云的新方法正在标准化。也称为V-PCC(基于视频的点云压缩)的这种方法将3D点云数据映射成几个2D面元，然后进一步将面元排列成图集图像，随后用视频编码器对图集图像进行编码。图集图像对应于点的几何形状、相应的纹理和占据地图，占据地图指示对于点云重建，将考虑位置中的哪些位置。

在2017年，MPEG发布了关于点云的压缩的提案征集(CfP)。在评估了几种提案之后，目前MPEG正在考虑用于点云压缩的两种不同技术：3D原生编码技术(基于八叉树和类似的编码方法)，或者3D到2D投影，随后是传统的视频编码。在动态3D场景的情况下，MPEG正在使用基于面元表面建模，面元从3D图像到2D图像的投影，以及用诸如HEVC之类的视频编码器对2D图像编码的测试模型软件(TMC2)。这种方法已被证明比原生3D编码更高效，并且能够在可接受的质量下实现有竞争力的比特率。

归因于基于投影的方法(也称为基于视频的方法或V-PCC)编码3D点云的成功，预计该标准在未来的版本中将包括更多的3D数据，比如3D网格。然而，该标准的当前版本只适合于一组不相连的点的传输，从而，不存在发送点的连通性的机制，这在3D网格压缩中是所需的。

提出了将V-PCC的功能也扩展到网格的方法。一种可能的方式是使用V-PCC对顶点进行编码，然后使用诸如TFAN或Edgebreaker之类的网格压缩方法对连通性进行编码。这种方法的局限性在于原始网格必须是密集的，使得从顶点生成的点云不稀疏，并且在投影之后可被有效编码。此外，顶点的顺序影响连通性的编码，从而提出了重新组织网格连通性的不同方法。编码稀疏网格的备选方式是使用RAW面元数据来编码3D中的顶点位置。由于RAW面元直接编码(x,y,z)，因此在这种方法中，所有的顶点都被编码为RAW数据，而连通性则通过类似的网格压缩方法来编码，如前所述。在RAW面元中，可以按任何优选的顺序来发送顶点，从而可以使用从连通性编码产生的顺序。该方法可以对稀疏点云进行编码，然而，RAW面元对3D数据的编码效率不高，并且诸如三角形面的属性之类的更多数据可能会从这种方法中丢失。

发明内容

本文中描述了一种使用基于投影的方法并利用已经为基于投影的点云压缩生成的工具和语法来压缩未跟踪和跟踪网格的方法。类似于V-PCC方法，网格被分割成表面面元，其中不同之处在于这些分割遵循网格的连通性。每个表面面元(或3D面元)随后被投影到2D面元，从而在网格的情况下，三角形表面采样类似于在计算机图形学中使用的常见光栅化方法。对于每个面元，投影顶点的位置连同这些顶点的连通性一起保存在列表中。采样的表面类似于点云，并且采用用于点云压缩的相同方法进行编码。另外，每个面元地对顶点和连通性的列表进行编码，并将数据连同编码的点云数据一起发送。