[发明专利]一种基于语义错误修正的3D点云实例分割方法

权利要求书

1.一种基于语义错误修正的3D点云实例分割方法，其特征在于，包括下列步骤：

步骤1，将带有位置信息和颜色信息的点云数据输入点云实例分割网络；

所述点云实例分割网络包括骨干网、偏移预测分支、语义预测分支、困难语义分割样本修正模块、点聚类网络、实例软聚类网络和优化网络；

骨干网络用于对输入的点云数据进行点级别的特征提取，得到点云特征并分别传入偏移预测分支和语义预测分支，其中，偏移预测分支用于预测点云与其所属实例中心点的偏移量，语义预测分支用于预测点云的语义分数；

步骤2，基于语义分数确定点云中的困难样本，采用困难语义分割修正模块对困难样本的语义预测进行修正，基于修正后的语义分数得到各点云的实例预测语义标签；

步骤3，将点云的实例预测语义标签和偏移预测分支的输出传入点聚类网络进行点聚类，基于点聚类结果得到初步的实例分割结果；

步骤4，将点聚类网络输出的点聚类结果传入实例软聚类网络，得到修正后的实例预测结果；

步骤5，通过优化网络对修正后的实例预测结果进行调整，得到最终的实例分割结果。

2.如权利要求1所述的方法，其特征在于，步骤1中，主干网络采用3D U-Net型的主干网络，输入主干网络的点云数据首先被体素化为多个体素，每个体素的初始体素特征为体素中所包含的点云特征平均池化的结果；再将各初始体素特征输入U-Net型网络中进行体素特征提取，最后将提取到的体素特征反向映射到点云，得到各点云的点云特征。

3.如权利要求1所述的方法，其特征在于，步骤1中，偏移预测分支预测点云与其所属实例中心点的偏移量具体为：

通过一个两层的多层感知机，预测点云的中心偏移向量其中，表示第i个点云的中心偏移量，i＝1,2,…,N，N表示点云数量。

4.如权利要求1所述的方法，其特征在于，步骤1中，语义预测分支通过一个两层的多层感知机预测各个点云关于各类语义标签的语义得分N表示点云数量。

5.如权利要求1所述的方法，其特征在于，步骤2中，基于语义分数确定点云中的困难样本具体为：

计算出每个点云的语义分数中最高的k_var个语义分数之间的方差var_i，并从所有点云中按一定的比例选择方差最小的点云作为困难语义分割样本，其中，k_var为指定值。

6.如权利要求1项所述的方法，其特征在于，步骤2中，困难语义分割修正模块依次包括：拼接层、U-Net型网络的特征提取网络和两层的多层感知机；

将困难样本的点云的语义分数重置为0，非困难样本的点云的语义分数重置为1，再通过拼接层将重置后的点云的语义分数与点云特征进行拼接，然后输入U-Net型网络的特征提取网络进行特征提取后，将提取的特征输入两层的多层感知机，得到修正后的语义分数。

7.如权利要求1所述的方法，其特征在于，步骤3中，进行点聚类的方式为：

对于每个点i，将其原始坐标与偏移预测分支得到的中心偏移矢量相加，得到将点云拉向其实例中心点后的坐标

再基于坐标将具有相同实例预测语义标签并且欧氏距离小于指定值的点云对合并为一个类，得到点聚类结果。

8.如权利要求1所述的方法，其特征在于，步骤4中，进行集合软聚类的方式如下：

根据点聚类中点云的数量，将点聚类划分为主要实例聚类和残缺实例聚类；

对每个残缺实例聚类，以归一化后的语义分数作为欧式距离的权重，具有欧式距离计算残缺实例聚类与每个主要实例聚类之间的软聚类相似度，所述软聚类相似度的取值越大，表征两者之间的相似性越弱；

筛选软聚类相似度小于或等于软聚类合并阈值的主要实例聚类，得到初始合并集，并从初始合并集查找最小软聚类相似度所对应的主要实例聚类，作为当前残缺实例聚类合并对象。