[发明专利]一种基于三维点云的轻量级实时语义分割方法

说明书

本发明公开了一种基于三维点云的轻量级实时语义分割方法，包括步骤：1)获取基础数据；2)将数据集中的三维点云投影成二维球形图；3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器，每一层都提取语义特征图，构造多层语义特征图；4)通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器‑解码器主干的语义分割器；5)构建训练数据集，对语义分割器进行训练；6)获取待检测三维点云并利用训练好的分割器进行语义分割。本发明够利用激光雷达获得的三维点云进行实时语义分割，在各种光照情况条件下满足自动驾驶中环境感知所需要的实时性与准确性。

技术领域

本发明涉及计算机视觉、深度学习、语义分割的技术领域，尤其是指一种基于三维点云的轻量级实时语义分割方法。

背景技术

近年来，语义分割任务在生产生活中应用越来越广泛，越来越多的应用场景需要精确且高效的分割技术，如室外自动驾驶，室内导航等。特别是自动驾驶，需要对汽车周边环境精确，实时，鲁棒的感知，分割。二维图片的语义分割面临着准确度受光线，玻璃反射等问题影响较大的挑战，而三维点云通过激光扫描获取，不会受到上面所说的光照问题的影响。但是三维点云有着稀疏，点数量大需要高性能计算平台来分割的挑战，因此在嵌入式平台的轻量级的实时语义分割进行更深层级的研究具有重大意义。

目前，语义分割技术研究方面主要采用基于深度学习模型的方法，但还面临如下问题：

(1)深度学习模型往往是由数据驱动，需要基于大量的数据集进行训练，但很多应用领域并没有大量的标注数据，或者数据量大但标注成本很高导致无法实际应用。

(2)在二维图像采集过程中，由于环境、光照、拍摄视角、遮挡以及物体自身的非刚体形变，导致物体在图像中的表观特征具有很大的多样性，对语义分割算法的鲁棒性提出了很高的要求。

(3)对于场景信息、语义信息等图像中的原有信息的利用不充分，造成一些有效信息的缺失。

(4)目前的算法，特别是三维点云的语义分割，为保证检测准确率，需要重型的网络以及高性能的计算平台进行推理，且推理时间长，无法适应嵌入式平台下实时分割的要求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于三维点云的轻量级实时语义分割方法，能够利用激光雷达获得的三维点云进行实时语义分割，在各种光照情况条件下满足自动驾驶中环境感知所需要的实时性与准确性。

为实现上述目的，本发明所提供的技术方案为：一种基于三维点云的轻量级实时语义分割方法，包括以下步骤：

1)获取基础数据，包括支持集类别的图像数据、标签及验证三维点云；

2)将数据集中的三维点云投影成二维球形图；

3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器，每一层都提取语义特征图，构造多层语义特征图；

4)通过叠加多层反卷积层与卷积层组成解码器，将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修，构建基于编码器-解码器主干的语义分割器；

5)构建训练数据集，对语义分割器进行训练；

6)获取待检测三维点云并利用训练好的语义分割器进行语义分割。

在步骤1)中，所述支持集类别的图像数据是指从数据集中获得的用作模型支持集的三维点云，所述标签为三维点云中每个点所属类别，所述验证三维点云是指从数据集中支持集以外随机获取的用于验证分割器效果的三维点云。