[发明专利]基于Transformer的点云几何压缩装置及方法

说明书

本发明公开了基于Transformer的点云几何压缩装置及方法。该装置基于自动编码器结构，分为编码端和解码端两个部分。其中编码端包括下采样模块，Transformer特征提取模块，解码端包括对应的上采样模块、Transformer模块以及点云细化模块。该装置通过Transformer特征提取模块中的KNN算法以及局部注意力机制，获取每个点与周围K个点之间的联系，在编码端增强特征，在解码端恢复特征，帮助细化模块预测更准确的概率，提升点云重建质量，同时也降低了Transformer模块的计算复杂度。

技术领域

本发明属于点云几何压缩技术领域，涉及端到端的点云几何有损压缩，具体涉及基于Transformer的点云几何压缩装置及方法。

背景技术

点云是表示三维物体形状、颜色、反射强度等信息的数据集合，如今已成为描述三维物体形状和结构的主流方式，被广泛应用于自动驾驶、虚拟现实等技术领域。现实应用中涉及的点云往往包含数量庞大的点，存在大量冗余，如果直接对未经压缩的点云进行存储和传输，需要消耗大量的内存和带宽，而点云压缩能够有效解决该问题。

传统的点云压缩方法中，比较具有代表性的是Moving Picture Experts Group(MPEG)提出的Geometry-based Point Cloud Compression(G-PCC)，Video-based PointCloud Compression(V-PCC)方法。其中，G-PCC通常用于静态点云的压缩，V-PCC则用于动态点云的压缩。以上两种方法利用八叉树分解、二维到三维的投影、三角曲面模型等传统方法，能够完成点云的无损和有损压缩。

随着深度学习的迅速发展，学者们提出基于深度学习的点云压缩方法，并获得比传统方法更高的增益。基于深度学习的方法可以分为：基于八叉树的方法、基于体素的方法和基于点的方法。其中，基于八叉树的方法可以通过八叉树表示任意精度的点云，利用八叉树节点的信息获取点云几何特征，再利用特征对点云进行有损或无损的压缩，但是八叉树的方法忽略了点与点之间的联系，特征提取不充分。基于点的方法对点云直接进行处理，通过全连接层等方法提取特征，但是计算复杂度和内存消耗过大，通常只能处理点数量较少的点云。基于体素的方法首先体素化点云，再利用三维卷积提取特征，利用特征重建点云，此类处理方法更符合点云本身的结构特点，更有效提取几何特征，获得更好的点云重建质量。

基于体素的方法可以使用自动编码器实现端到端的点云几何压缩。具体的，在编码端对点云进行下采样，使用三维卷积提取点与点之间的特征，将下采样的点云和特征压缩成码流，在解码端对点云进行上采样，利用特征细化点云，最终获得重建点云。因此，在基于深度学习的点云压缩方法中，提取点之间的特征是一个关键步骤，特征提取越充分则重建效果越好。

发明内容

针对现有技术的不足，本发明提出了基于Transformer的点云几何压缩装置及方法，利用基于KNN算法的Transformer模块进行特征提取与增强，完成点云几何压缩，充分提取点与点之间的特征信息，提升点云重建质量。

基于Transformer的点云几何压缩装置，包括多个数量相同的编码模块和解码模块，以及压缩/解压模块。

多个编码模块级联，所述编码模块通过下采样模块对输入坐标与特征进行体素下采样，再通过Transformer模块进行特征聚合与增强。压缩/解压模块对编码模块输出的坐标和特征分别进行无损压缩和有损压缩，再进行相应的解压操作后，输入解码模块。多个解码模块级联，所述解码模块通过Transformer模块进行特征恢复，再通过上采样模块对恢复的特征进行体素上采样，最后通过点云细化模块去除上采样结果中概率较低的点云，细化后的点云数量与同一尺度的编码模块下采样前的点云数量相同。最后一个解码模块输出重建点云。