[发明专利]一种基于点的点云几何有损压缩重建装置与方法

说明书

本发明公开了一种基于点的点云几何有损压缩重建方法，属于点云压缩技术研究领域。该方法包括编码和解码两个步骤，其中编码包括下采样、特征提取、特征增强和熵编码四个步骤，在完成局部特征提取后首先进行特征增强，然后再进行特征合成与特征压缩。解码先后包括特征恢复、特征增强、坐标恢复和坐标细化四个步骤，在坐标恢复前同样进行了局部坐标增强，并且在重建过程中细化点云。本发明所提出的方法能够将大规模的点云进行压缩，从而以较少的数据量进行传输，并对点云进行重建，恢复点云的坐标。

技术领域

本发明涉及点云几何压缩技术领域，具体地说，涉及一种基于点的点云几何有损压缩重建装置与方法。

背景技术

近年来，三维点云已成为工业监控、自动驾驶、增强现实、虚拟现实等领域渲染3D对象和场景的一种常用格式。Moving Picture Experts Group(MPEG)分别提出了两种使用传统方法的点云压缩标准，即Video-based Point Cloud Compression(V-PCC)和Geometry-based Point Cloud Compression(G-PCC)。V-PCC利用3D到2D的投影，将2D视频编解码器应用于编码投影面；而G-PCC依赖八叉树或三角形表面等3D模型，用于直接对3D内容进行编码。

随着人工智能技术的不断发展，结合深度神经网络的点云几何压缩方法成为点云压缩领域的一个热门研究方向。目前基于深度学习的方法主要分为基于体素的学习、基于八叉树的学习和基于点的学习三类。其中，基于体素的学习方法将以坐标格式检测到的原始数据转换为体素来处理，这种方法会浪费大量的时间和内存，模型的分辨率也受到内存的限制。基于八叉树的学习方法通过将体素模型转换为具有不同叶节点大小的不平衡八叉树，来减少计算量和内存需求，但是在数据格式变换时仍然会有很多资源浪费。而基于点的学习方法可以直接处理点云，不需要任何体素化或投影，并且不会造成明显的信息丢失，因此越来越受欢迎。

现阶段，基于点的学习方法主要使用自动编码器的结构。在编码端对原始点云提取局部特征后聚合成全局特征，并压缩成码流；解码端对压缩后的码流解码后将全局特征恢复成局部特征，然后进行坐标重建。

由此可知，在编码端提取关键特征的结构好坏会直接影响压缩时的比特率，以及后续解码端恢复的点云质量。另外，在解码端恢复点云特征的结构也会影响重建点云的质量。现在主流的方法是在解码端直接使用反卷积层或简单的线性变换的方法来恢复点云坐标，但是这样无法得到较好的重建效果，也会产生较高的压缩比特率。

发明内容

针对现有技术的不足，本发明提出了一种基于点的点云几何有损压缩重建装置与方法，通过变分自动编码器(Variational Autoencoder，VAE)，对局部特征进行增强，并细化坐标，以获得更好的重建效果。

一种基于点的点云几何有损压缩重建装置，包括编码模块和解码模块。

所述编码模块，包括依次级联的下采样模块、特征提取模块、第一特征增强模块、熵编码模块；所述第一特征增强模块利用自注意力机制对特征提取模块的输出数据进行增强后聚合成全局特征；

所述解码模块，包括依次级联的特征恢复模块、第二特征增强模块、坐标恢复模块、坐标细化模块；所述第二特征增强模块利用自注意力机制对特征恢复模块的输出数据进行增强。

一种基于点的点云几何有损压缩重建方法，包括编码压缩与解码重建。

步骤1、对于编码压缩部分，在特征提取后进行了增强处理，包括以下步骤：

1.1)将数量为P的原始点云下采样为数量为M的点云；

1.2)利用神经网络对数量为M的点云进行特征提取，得到维度为M×C的局部特征；

1.3)利用自注意力机制对维度为M×C的局部特征进行增强，然后聚合得到维度为1×C的全局特征；