[发明专利]一种三维点云上采样方法、系统、设备及介质

说明书

本发明提供了一种三维点云上采样方法、系统与装置，包括：将三维点云划分为能覆盖所有点的固定点数可重叠点云块；根据点云块中点坐标提取层次化特征；利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展；从所述扩展特征重建上采样的三维点云中点坐标。本发明能够对空间稀疏非均匀分布的三维点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。与现有方法相比，能够促进上采样稠密点云空间分布的均匀性，保证了对于目标物体几何结构的精确表示，获得性能提升。

技术领域

本发明涉及一种多媒体信号处理领域，具体地说，涉及的是一种三维点云上采样方法、系统、设备及介质。

背景技术

近些年，深度神经网络模型在三维点云的分类与识别上展现出令人瞩目的出色性能。受此鼓舞，研究者开始致力于利用深度学习方法解决点云上采样问题。Yu等人在《2018IEEE/CVF Conference on Computer Vision and Pattern Recognition》公开了点云上采样网络(PU-Net)，通过点采样与邻域分组来抽取多尺度的点特征，串联特征并利用多分支的双层点卷积进行点集扩展，然而下采样不可避免地带来分辨率损失。随后，Yu等人在《European Conference on Computer Vision 2018》公开了边缘感知的点集固结网络(EC-Net)，通过最小化点到边缘的距离损失函数来锐化点云的边缘精细结构，训练过程依赖于耗费时力的手工边缘标注。Wang等人在《2019 IEEE/CVF Conference on Computer Visionand Pattern Recognition》公开了一种多阶段点云上采样方法(MPU)，借鉴图像超分辨率的多阶段网络训练机制，以不同的精细粒度渐进式地上采样输入点云，其分阶段的模块训练需要高昂的计算复杂度。Li等人在《2019 IEEE/CVF International Conference onComputer Vision》和Wu等人在《British Machine Vision Conference 2020》分别公开了点云上采样的生成对抗网络(PU-GAN)和对抗残差图卷积网络(AR-GCN)，引入生成对抗机制产生稠密点云，利用鉴别器约束隐空间中的期望点分布，但是由于网络结构复杂而不易收敛。Qian等人在《European Conference on Computer Vision 2020》公开了基于几何的点云上采样方法(PU-Geo)，根据离散微分几何的局部参数化形式学习点邻域的基本几何特征，从平面参数空间中对点云的坐标与法向量进行联合上采样，利用学习到的几何变换将采样点提升至曲面空间，训练过程需要借助法向量作为附加的监督数据，但是许多原始数据如LiDAR点云并未包含法方向信息。Qian等人在《2021 IEEE/CVF Conference onComputer Vision and Pattern Recognition》公开了基于图卷积网络的点云上采样网络(PU-GCN)，结合Inception网络结构与稠密连接的空洞图卷积提取多尺度邻域特征，在保持卷积核参数量不变的前提下扩张感知野，利用单个图卷积层提取高维特征以实现点集扩展，但空洞卷积需要繁琐的手动参数调节，容易丢失局部信息而产生棋盘效应，且特征空间内的直接扩展无法利用潜在曲面的几何形状信息。

发明内容

本发明针对现有技术的不足，提供了一种三维点云上采样方法、系统、设备及介质，能够对空间稀疏非均匀分布的三维点云进行不同精细粒度的细节信息增强，同时对潜在的噪声扰动与局部形变具备良好的稳定性。

根据本发明的第一方面，提供了一种三维点云上采样方法，包括：

将三维点云划分为能覆盖所有点的固定点数可重叠点云块；

根据点云块中点坐标提取层次化特征；

利用多尺度热核图卷积对提取的所述层次化特征实现点集特征扩展；

从所述扩展特征重建上采样的三维点云中点坐标。