[发明专利]基于Transformer的点云几何压缩装置及方法

权利要求书

1.基于Transformer的点云几何压缩装置，其特征在于：包括多个数量相同的编码模块和解码模块，以及压缩/解压模块；

多个编码模块级联，所述编码模块通过下采样模块对输入坐标与特征进行体素下采样，再通过Transformer模块进行特征聚合与增强；压缩/解压模块对编码模块输出的坐标和特征分别进行无损压缩和有损压缩，再进行相应的解压操作后，输入解码模块；多个解码模块级联，所述解码模块通过Transformer模块进行特征恢复，再通过上采样模块对恢复的特征进行体素上采样，最后通过点云细化模块去除上采样结果中概率较低的点云，细化后的点云数量与同一尺度的编码模块下采样前的点云数量相同；最后一个解码模块输出重建点云；

所述Transformer模块包括KNN算法模块、多个级联的注意力机制模块、归一化层和线性层；其中，KNN算法模块用于对输入坐标与输入特征进行聚合，得到聚合坐标与聚合特征后，将聚合坐标通过线性层后得到坐标嵌入信息，与聚合特征相加；注意力机制用于针对输入特征进行线性变换得到Key矩阵，针对嵌入坐标信息的聚合特征进行线性变换得到Query矩阵和Value矩阵，将Query矩阵转置后与Key矩阵进行矩阵叉乘，再将计算结果与Value矩阵进行叉乘，得到局部增强特征；归一化层与线性层级联，接收最后一个注意力机制模块输出的局部增强特征，最后将归一化层的输出与线性层的输出连接，得到增强特征或恢复特征。

2.如权利要求1所述基于Transformer的点云几何压缩装置，其特征在于：所述下采样模块利用步长为2的稀疏卷积进行体素下采样，将8个体素块合并为1个体素块，若8个体素块中存在一个体素块特征为1，则合并后的体素块的特征为1；所述上采样模块通过步长为2的稀疏反卷积进行上采样，将特征为1的1个体素块恢复为8个体素块，恢复后的每个体素块的特征均为1。

3.如权利要求1所述基于Transformer的点云几何压缩装置，其特征在于：所述KNN算法模块为每个点寻找其周围的K个点，将周围K个点的特征、坐标分别与当前点的特征、坐标合并，得到每个点及其领域内的聚合特征与聚合坐标；然后通过线性层，将聚合坐标转换为与聚合特征通道数相同的坐标嵌入信息，最后，将坐标嵌入信息与聚合特征相加，得到嵌入坐标信息的聚合特征。

4.如权利要求3所述基于Transformer的点云几何压缩装置，其特征在于：设置KNN算法模块中K的值为16、32或64。

5.如权利要求3所述基于Transformer的点云几何压缩装置，其特征在于：设置每个Transformer模块中KNN算法模块的K值随着特征尺度的减小而减小。

6.如权利要求1所述基于Transformer的点云几何压缩装置，其特征在于：设置注意力机制模块为单头注意力机制，每次线性变换后生成一组Key矩阵、一组Query矩阵和一组Value矩阵。

7.如权利要求1所述基于Transformer的点云几何压缩装置，其特征在于：设置注意力机制模块为多头注意力机制，每次线性变换后生成四组Key矩阵、四组Query矩阵和一组Value矩阵。

8.如权利要求1所述基于Transformer的点云几何压缩装置，其特征在于：所述压缩/解压模块通过G-PCC编码方法对坐标进行无损压缩，通过熵模型对特征进行有损压缩。