[发明专利]使用图像/视频编解码器的点云和网格压缩

说明书

公开了解码设备、编码设备和用于点云编码的方法。所述方法包括从三维点云生成多个二维帧，所述二维帧至少包括表示三维点云中的点的几何形状的第一帧和表示三维点云中的点的纹理的第二帧。所述方法还包括生成占用图，所述占用图指示表示三维点云中的点的二维帧中的像素的位置。所述方法还包括对二维帧和占用图进行编码以生成压缩的比特流。所述方法还包括发送压缩的比特流。

技术领域

本公开一般涉及图像处理。更具体地，本公开涉及用于压缩和解压缩点云(pointcloud)的装置和方法。

背景技术

由于功能强大的手持设备(诸如智能电话)已经可用，三百六十度(360°)视频作为体验沉浸式视频的新方法正在出现。360°视频通过捕捉世界的360°景象，使得消费者能够有沉浸式的“真实生活”、“身临其境”的体验。用户可以交互地改变其视点，并动态查看他们想要的捕获场景或对象的任何部分。显示器和导航传感器实时跟踪头部运动，以确定用户想要观看的360°视频区域。360°视频可提供三自由度(3DoF)的沉浸式体验。(6DoF)是沉浸式体验的下一个等级，在(6DoF)中用户可以在虚拟/增强环境中转头并四处走动。本质上为3维的多媒体数据(诸如点云)是提供6DoF体验所需要的。

点云和网格(mesh)是表示对象的表面或场景的模型的三维(3-D)点的集合。点云在各种应用中都很常见，所述各种应用诸如游戏、3-D地图、可视化、医疗应用、增强现实(AR)、虚拟现实(VR)、自动驾驶、多视图重播、6DoF沉浸式媒体等。如果不压缩，点云通常需要大量带宽来进行传输。因此，比特率要求更高，因此在点云的传输之前进行压缩是有必要的。点云的压缩硬件和过程不同于用于传统的二维(2-D)多媒体的传统的压缩硬件和过程。

发明内容

技术问题

本公开提供使用图像/视频编解码器的点云和网格压缩。

技术方案

在第一实施例中，提供了一种用于点云解码的解码设备。所述解码设备包括通信接口和可操作地耦合到通信接口的处理器。通信接口被配置为接收压缩的比特流。处理器被配置为将压缩的比特流解码为二维帧和占用图，其中二维帧至少包括表示三维点云中的点的几何形状(geometry)的第一帧和表示三维点云中的点的纹理的第二帧。处理器还被配置为识别占用图，所述占用图指示表示三维点云中的每个点的二维帧中的像素的位置。处理器还被配置为使用占用图从二维帧生成三维点云。

在另一实施例中，提供了一种用于点云编码的编码设备。所述编码设备包括处理器和可操作地耦合到处理器的通信接口。处理器被配置为从三维点云生成多个二维帧，二维帧至少包括表示三维点云中的点的几何形状的第一帧和表示三维点云中的点的纹理的第二帧。处理器还被配置为生成占用图，占用图指示表示三维点云中的点的二维帧中的像素的位置。处理器还被配置为对二维帧和占用图进行编码以生成压缩的比特流。通信接口被配置为发送压缩的比特流。

在又一实施例中，提供了一种用于编码的方法。所述方法包括从三维点云生成多个二维帧，二维帧至少包括表示三维点云中的点的几何形状的第一帧。所述方法还包括生成用于点云属性(诸如，颜色、纹理、法线、反射率)的其他二维帧。此外，所述方法包括生成占用图，占用图指示表示三维点云中的点的二维帧中的像素的位置。所述方法还包括对二维帧和占用图进行编码以生成压缩的比特流。所述方法还包括发送压缩的比特流。

根据以下附图、描述和权利要求书，其他技术特征对于本领域技术人员而言是显而易见的。