[发明专利]处理点云

说明书

至少一个实施例涉及一种用于填充表示点云帧的较近点的深度值的第一深度图像和表示点云帧的较远点的深度值的第二深度图像的方法。该方法还包括编码视频流，该视频流包括所述编码的第一和第二图像的时间交织。还提供了一种包括以下的方法：解码视频流以提供表示点云帧的较近点的深度值的第一深度图像和表示点云帧的较远点的深度值的第二深度图像；以及通过使用第一深度图像的像素值对第二深度图像的像素值进行滤波。

技术领域

本实施例中的至少一个总体上涉及点云的处理。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本实施例中的至少一个的各个方面相关。相信该讨论有助于向读者提供背景信息，以促进更好地理解至少一个实施例的各个方面。

点云可以被用于各种目的，诸如文化遗产/建筑物，其中以3D来扫描如雕像或建筑物之类的对象，以便在不发送或访问对象的情况下共享对象的空间配置。而且，这是确保保留对象知识以防对象可能被破坏的方式；例如，庙宇被地震破坏。这种点云通常是静态的、有色的和巨大的。

另一个用例是在地形和制图中，其中，使用3D表示允许地图不限于平面，并且可以包括地势。Google Maps(谷歌地图)现在是3D地图的良好的例子，但使用网格代替点云。然而，点云可以是3D地图的合适的数据格式，并且这种点云通常是静态的、有色的和巨大的。

汽车工业和自动驾驶汽车也是可以使用点云的领域。自动驾驶汽车应当能够“探测”其环境，以基于其近邻的实际情况做出良好的驾驶决策。如LIDAR(光检测和测距)之类的典型传感器产生由决策引擎使用的动态点云。这些点云并非旨在供人类查看，并且它们通常是小的，不一定是有色的，并且是动态的，具有高捕获频率。这些点云可以具有其它属性，如由LIDAR提供的反射率，因为该属性提供了关于感测对象的材料的良好信息，并可以帮助做出决策。

虚拟现实和沉浸式世界近来已成为热门话题，并且被许多人预见为2D平面视频的未来。基本想法是让观看者沉浸在围绕观看者的环境中，这与观看者只能观看观看者前面的虚拟世界的标准TV相反。依据环境中观看者的自由度，沉浸性有若干等级。点云是分发虚拟现实(VR)世界的良好格式候选。

在许多应用中，重要的是能够通过仅消耗合理数量的比特率(或用于存储应用的存储空间)将动态点云分发给终端用户(或将它们存储在服务器中)，同时维持可接受的(或优选地非常好的)体验质量。为了使许多沉浸式世界的分布链切实可行，这些动态点云的有效压缩是关键点。

考虑到前述内容而设计了至少一个实施例。

发明内容

以下给出了至少一个本实施例的简化发明内容，以提供对本公开的一些方面的基本理解。本发明内容不是实施例的广泛概述。其并非旨在标识实施例的关键或重要元素。以下发明内容仅以简化形式给出了至少一个本实施例的一些方面，作为本文其他地方提供的更详细描述的序言。

根据至少一个实施例的总体方面，提供了一种方法，该方法包括：填充表示点云帧的较近点的深度值的第一深度图像和表示点云帧的较远点的深度值的第二深度图像。该方法还包括编码视频流，该视频流包括所述编码的第一和第二图像的时间交织。

还提供了一种方法，该方法包括：解码视频流以提供表示点云帧的较近点的深度值的第一深度图像和表示点云帧的较远点的深度值的第二深度图像；以及

-通过使用第一深度图像的像素值对第二深度图像的像素值进行滤波。

至少一个本实施例中的一个或多个还提供了实现以上方法的装置、计算机程序产品、非暂时性计算机可读介质、以及承载表示点云帧的点的深度值的数据以及表示表面厚度的数据的信号，该表面厚度定义了点云中沿相同投影线投影在投影平面上的两个点的深度值之间的最大差。