[发明专利]一种解码三维场景的方法和装置

说明书

公开了一种用于从对三维场景的一部分的投影进行编码的源图像生成图像的方法。所述源图像的像素包括深度和颜色属性。将源图像的像素解投影为彩色点云。3D空间中的解投影的点具有被解投影的像素的颜色属性。此外，根据所生成的点所来自的像素的局部深度梯度和/或局部颜色梯度，将分数归属于该点，梯度越低，分数越高。在第二步骤，生成的点云由用于在显示设备上进行渲染的虚拟相机捕获。通过混合投影到同一像素上的点的颜色，将点云投影到视口图像上，该混合是由这些点的分数加权。

技术领域

本公开总体上涉及对包括三维(3D)对象的三维场景进行解码。特别地但非排他地，本公开的技术领域涉及解码通过投影3D场景的点而获得的深度和纹理图像数据，用于表示三维场景的几何形状和颜色。

背景技术

本部分旨在向读者介绍本领域的各个方面，其可以与下面描述和/或要求保护的本公开的各个方面相关。相信本讨论有助于向读者提供背景信息以便于更好地理解本公开的各个方面。因此，应该理解的是这些陈述应该从这个角度来阅读，而不是作为对现有技术的承认。

点云是点集，通常用于表示3D对象的外表面，但也表示毛发或皮毛等更复杂的几何形状，而这些更复杂的几何形状可能无法通过网格等其他数据格式有效地表示。点云中的每个点通常由3D空间位置(3D空间的正交参考系中的X、Y和Z坐标或3D空间的径向参考系中的角度ρ、φ和距离d)以及可能的其他相关属性来定义，例如在RGB或YUV颜色空间中表示的颜色、透明度、反射率、法向量等。点云可能是静态的，也可能是动态的，这取决于云是否随时间演变。应该注意的是，在动态点云的情况下，点的数量不是恒定的，而是相反的通常随着时间而演变。因此，动态点云是点集的时序序列。

虚拟现实(VR)和沉浸式世界最近成为热门话题，并被许多人预见为二维(2D)平面视频的未来。基本思想是让观看者沉浸在他周围的环境中，这与他只能看着他前面的虚拟世界的标准TV相反。沉浸感有几个层次，这取决于观看者在环境中的自由度。点云，尤其是彩色点云，是分布VR世界和立体视频的一种很好的候选格式。它们可能是静态的，也可能是动态的，通常具有平均大小(一次几百万个点)。

众所周知的方法将表示3D对象的几何形状和颜色的彩色点云投影到3D环境中的表面上，例如投影到包含3D对象的立方体的面上，以获得针对纹理和深度的视频，并使用诸如3D-HEVC的传统编码器对纹理和深度视频进行编解码。

在解码器处，图片和深度图像(视频是图像序列)被反向投影以重新生成彩色点云(或彩色点云序列)。反向投影是根据表示与原始彩色点云已经投影到的表面相关联的投影映射的信息来执行的。由于归因于图像光栅化和非无损压缩方法的可避免的离散化，用投影图像表示点云的几何形状和颜色会引入点坐标和颜色的不精确性。当从这些图像重新生成彩色点云时，原始彩色点云中的相同点可以在不同的坐标和/或以不同的颜色被反向投影多次。当重建的彩色点云由不在源图像投影中心位置的虚拟相机捕获时，这些误差和不精确性通常会导致视口图像中出现鬼影效果。本公开通过利用原始彩色点云的相同点可以被多次投影到多个图像上的事实来解决这个问题。

发明内容

下面给出了本公开的简化概述，以提供对公开的一些方面的基本理解。该概述不是对本公开的广泛概述。它并不旨在确定本公开的关键或重要要素。以下概述仅仅以简化的形式呈现了本公开的一些方面，作为下面提供的更详细描述的序言。

本公开涉及一种用于从对三维场景的一部分的投影进行编码的源图像生成图像的方法，所述源图像的像素包括深度和颜色属性。该方法包括:

-将源图像的像素解投影为彩色点云。根据像素的深度属性，像素被解投影为3D空间中的点。该点具有像素的颜色属性，并且具有根据生成该点的像素的局部深度梯度和/或局部颜色梯度归因的分数，梯度越低，分数越高；

-通过混合投影到同一像素上的点的颜色属性，将构建的彩色点云投影到要生成的图像上。该混合是由这些点的分数属性加权的函数。