[发明专利]一种用于编码/重建3D点的方法和设备

说明书

本实施例涉及一种用于对3D点进行编码的方法，该3D点的几何形状由几何图像表示并且属性由属性图像表示。该方法检查所述几何图像中的第一几何图像中的像素的深度值和所述几何图像中的第二几何图像中的共位像素的深度值是否不相同(不相同的值)。当所述第一几何图像中的像素的深度值和所述第二几何图像中的共位像素的深度值不相同时，则该方法指派(编码)根据所述第一几何图像中的所述像素的2D空间坐标和所述第二几何图像中的所述共位像素的深度值所定义的3D点的属性。

1.技术领域

本实施例主要涉及3D点的编码和重建。具体地，但不排他地，本实施例的技术领域涉及表示3D对象的外表面的点云的编码/重建。

2.背景技术

本部分旨在向读者介绍可能与下面描述和/或要求保护的本发明实施例的各方面相关的技术的各方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本实施例的各个方面。因此，应当理解，这些陈述应就此而论来阅读，而不是作为对现有技术的承认。

点云是某一坐标系中的一组数据点。在三维坐标系(3D空间)中，这些点通常旨在表示3D对象的外表面。点云的每个点通常由其位置(3D空间中的X、Y和Z坐标)定义，并且可能由其他相关属性定义，例如颜色(在例如RGB或YUV颜色空间中表示的颜色)、透明度、反射率、两分量法向量等。

通常将点云表示为一组6分量点(X,Y,Z,R,G,B)或等效地(X,Y,Z,Y,U,V)，其中(X,Y,Z)定义3D空间中的色点的坐标，并且(R,G,B)或(Y,U,V)定义该色点的颜色。

点云可以是静态的或动态的，这取决于该云是否相对于时间演变。应当注意，在动态点云的情况下，点的数目不是恒定的，而是相反，通常随着时间演变。因此，动态点云是一组点的时间顺序列表。

实际上，点云可以用于各种目的，诸如文化遗产/建筑，其中像雕像或建筑的对象以3D扫描，以便共享该对象的空间配置而不发送或访问它。而且，这是一种确保在对象可能被破坏(例如被地震破坏的寺庙)的情况下保留关于该对象的知识的方式。这种点云通常是静态的、有颜色的和巨大的。

另一使用情况是在使用3D表示的地形图和制图中，地图不限于平面且可包含起伏。谷歌地图现在是3D地图的良好示例，但是使用的是网格而不是点云。然而，点云可以是用于3D地图的合适的数据格式，并且这样的点云通常是静态的、有颜色的和巨大的。

汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应当能够“探测”它们的环境，以基于它们紧邻的现实来做出良好的驾驶决定。像LIDAR的典型传感器产生由决策引擎所使用的动态点云。这些点云不旨在被人类查看，并且它们通常是小的，不一定是有色的，并且是动态的，具有高捕获频率。它们可以具有其他属性，例如由LIDAR提供的反射率，因为该属性是关于被感测物体的材料的良好信息并且可以帮助进行所述决策。

虚拟现实和沉浸式世界近来已经成为热点主题，并且被很多人预见为2D平面视频的未来。基本思想是使观看者沉浸在他周围的环境中，这与标准TV相反，在标准TV中，观看者仅能够看到他前方的虚拟世界。根据观看者在环境中的自由度，在所述沉浸度中存在若干层次。有色点云是分布虚拟现实(或VR)世界的良好格式候选。它们可以是静态的或动态的，并且通常具有平均的大小的，比如一次不超过数百万个点。

仅当比特流的大小足够低以允许对终端用户的实际存储/传输时，点云压缩才将成功地存储/传输用于沉浸式世界的3D对象。

能够以比特率的合理消耗而将动态点云分发给终端用户同时保持可接受的(或者优选地非常好的)体验质量是至关重要的。为了使沉浸式世界的分发链切实可行，这些动态点云的有效压缩是关键点。