[发明专利]基于脉冲神经网络与激光雷达点云的语义分割方法及装置

说明书

本发明公开了一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置，包括以下步骤：步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。本发明以脉冲神经网络的方式对激光雷达的点云数据进行图像语义分割与目标识别，有效提升目标识别的实时性，降低目标识别推理模型的算力需求。

技术领域

本发明涉及一种深度学习与激光雷达信号处理技术领域，尤其涉及一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置。

背景技术

在自动驾驶产业中，作为一种可精确测量传感器与物体距离的设备，激光雷达有着广泛的应用。主流激光雷达基于激光的飞行时间原理，利用发射器发射的脉冲信号与接收器接收到的反射脉冲信号的时间间隔来计算与目标物体的距离，通过分析目标物体表面的反射能量大小，反射波谱的幅度，频率，相位等信息来构建目标物体的点云数据。目前最为成熟的车载MEMS激光雷达拥有360度水平视场角以及40度的垂直视场角，其点云数据包含各障碍物及背景点在笛卡尔坐标系下的xyz值以及该点对应的反射强度(Intensity)信息。由于障碍物点云通常比背景点云要更密集，通过对点云数据进行聚类分析，传统算法已经可以有效检测障碍物，输出检测框并对障碍物种类进行简单区分。目前主流的分类方式依然采用传统机器学习或卷积神经网络等深度学习方式，由于激光雷达点云数据密集，数据点较多，传统方法的一些弊端，例如模型训练与推理计算量大，算力资源消耗大，功耗较高，准确性与先验数据集强相关等会进一步地被放大且难以避免。

脉冲神经网络是一种受生物大脑启发，模拟生物大脑运作机制的人工神经网络。由于脉冲神经网络拥有惊人的生物相似性，且在图像处理，目标识别，计算机视觉等方向表现优异，近些年一直受到学界的广泛关注，被称为第三代人工神经网络。在人类的大脑皮质中拥有上百亿个神经元，各神经元之间通过突触互相连接。当神经元膜电位高于某一阈值时，该神经元将被激活并传递信号至其他神经元，从而影响其他神经元的膜电位。人脑处理信息所耗费的算力，反应的速度，产生的功耗以及功能的全面性都远远优于传统的神经网络推断模型。由于脉冲神经网络高度借鉴了生物大脑工作模式，拥有强大的生物基础支撑，因此通过对输入信息的合理脉冲编码，脉冲神经网络可以像生物大脑一样低功耗地高速处理海量信息。鉴于其强大的生物相似性以及计算能力，将脉冲神经网络应用于海量激光雷达点云数据的语义分割处理上既可以提升数据处理的实时性，又可以降低运算功耗，且具有较强的鲁棒性。

为此，我们提出一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置。

发明内容

本发明针对海量激光雷达点云数据的实时目标识别处理存在计算量大，运算速度较慢，功耗较大等局限性，提供一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置。

本发明采用的技术方案如下：

一种基于脉冲神经网络与激光雷达点云的语义分割方法，包括以下步骤：

步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；

步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；

步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；

步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。

进一步地，所述步骤S1具体包括以下子步骤：