[发明专利]一种基于深度特征表达的三维点云语义分割方法

权利要求书

1.一种基于深度特征表达的三维点云语义分割方法，其特征在于，该方法包括下列步骤：

步骤1：搜集三维点云相关的数据集，将数据集中的点云进行处理，用于模型的训练；

步骤2：在模型训练过程中，对数据进行预处理；

步骤3：建立深度网络模型，所述深度网络模型由5个模块组成，包括边缘特征模块、U-Inception模块、注意力权重模块、语义分割模块；将点云数据输入到边缘特征模块，该模块获得的边缘特征输入到U-Inception模块进一步进行特征提取，U-Inception模块得到的特征张量输入到注意力权重模块；如上操作重复多次，每次重复得到的结果整合后输入到语义分割模块，得到最终的语义标签赋予结果；

步骤4：将步骤2处理后得到的数据送入网络，对步骤3建立的网络的参数进行训练；

步骤5：对于步骤4中的模型进行测试。

2.根据权利要求1中所述的基于深度特征表达的三维点云语义分割算法，其特征在于，步骤3中所述将点云数据输入到边缘特征模块，是通过以下方式提取边缘特征：

将输入的大小为B×N×C的原始点云数据通过KNN(K-最近邻搜索)获取每个点的K个邻点，B代表点云数量，N代表点的特征向量维数，C代表每个点云中采样点的个数，并按照点在点云中的排列顺序将所有邻点排列在大小为B×N×C×K的邻点张量中，将原始点云复制K次作为大小为B×N×C×K的点云张量，将邻点张量和点云张量相减，得到边缘特征张量，输出大小为B×N×C×K的边缘特征张量和B×N×C×K的点云张量。

3.根据权利要求1中所述的基于深度特征表达的三维点云语义分割算法，其特征在于，步骤3中所述U-Inception模块具体结构如下：

该模块的输入有三个并行的卷积分支和一个最大化分支，四个分支的结果整合后再进行卷积，所得结果作为该模块的输出；

第一个分支，一个单独的卷积层；

第二个分支，四个串联的卷积层，其中第一个卷积层的输出被加到第三个卷积层的输出上，求和的结果作为第四个卷积层的输入，第四个卷积层的输出会和第一个卷积层的输入相加作为该分支的输出；

第三个分支，两个串联的卷积层；

第四个分支，对大小为B×N×C×K输入的边缘张量通过最大化操作，得到大小为B×N×C的全局特征张量，将全局特征张量通过复制恢复到大小为B×N×C×K。

4.根据权利要求1中所述的基于深度特征表达的三维点云语义分割算法，其特征在于，步骤3中所述注意力权重模块通过以下方式进行注意力计算：

将输入的特征张量经过卷积层、ReLU层和softmax层处理，得到边缘特征权重张量，输入的边缘特征张量中排列有每个中心点的K个边缘特征，对于每个中心点，将其所有边缘特征及对应的边缘特征权重相乘并求和，得到该中心点的特征向量。

5.根据权利要求2中所述的基于深度特征表达的三维点云语义分割算法，其特征在于，步骤3中所述语义分割模块具体结构如下：

聚集层1：将三个注意力权重模块输出的三个大小为B×D×C的注意力特征张量按第二维进行整合，输出大小为B×3*D×C的整合特征张量，其中D是注意力特征向量的特征维度；

卷积层1：用1024个kernelsize为1的卷积核去卷积聚集层1输出的B×3*D×C特征，得到B×1024×C的特征；

最大化层1：将卷积层1输出的B×1024×C特征按最后一维进行保持维度的max操作，得到B×1024×1的特征；

复制层1：将最大化层1输出的B×1024×1特征进行C次复制，得到B×1024×C的特征；

聚集层2：将聚积层1、复制层1的输出沿着特征矩阵的第二维级联，得到B×1024+3*D×C的特征；

1D卷积层2：用704个kernelsize为1的卷积核去卷积聚积层2输出的B×1024+3*D×C特征，得到B×704×C的特征；

1D卷积层3：用512个kernelsize为1的卷积核去卷积1D卷积层2输出的B×704×C特征，得到B×512×C的特征；

1D卷积层4：用256个kernelsize为1的卷积核去卷积1D卷积层2输出的B×512×C特征，得到B×256×C的特征；

丢弃层1：对卷积层4输出的B×256×C特征进行概率为0.5的dropout操作

1D卷积层5：用13个kernelsize为1的卷积核去卷积丢弃层1输出的B×256×C特征，得到B×13×C的特征并作为网络的输出，用于对点云中每个点赋予语义标签。