[发明专利]基于脉冲神经网络与激光雷达点云的语义分割方法及装置

权利要求书

1.一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，包括以下步骤：

步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；

步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；

步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；

步骤S31：采用编码-解码结构构建脉冲神经网络模型，所述脉冲神经网络模型包括依次连接的多个下采样模块、上采样模块和作为输出层的脉冲累加器，所述下采样模块与对称尺寸的所述上采样模块之间采用跳跃链路连接；

步骤S32：将所述脉冲序列作为脉冲神经网络模型的输入，对于所述脉冲序列对应的每一个时间步，经过所述脉冲神经网络模型的多个下采样模块、上采样模块和作为输出层的脉冲累加器，在所述下采样模块中逐层提取所述脉冲序列的语义信息，在所述上采样模块中逐层恢复所述脉冲序列中对应的原图分辨率，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，输出沿时间轴累加各个神经元的脉冲个数，选取所述脉冲个数最大的类别作为最终语义分割结果；

所述脉冲神经网络模型中的输出层神经元脉冲进行解码采用速率解码的方式：对于输出层神经元，其维度为长x宽x类别数，使用脉冲累加器在时间维度上对每个神经元的脉冲数进行累加，并选取累计脉冲个数最大的神经元所代表的类作为语义分割的结果；

步骤S33：采用Adam优化器，设置初始化学习率，所述脉冲神经网络模型的神经元为LIF模型神经元，采用交叉熵函数作为损失函数并使用时间维度上的反向传播算法计算权重更新梯度，对所述脉冲神经网络模型进行训练直至损失函数不再下降，得到训练好的脉冲神经网络模型；

步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。

2.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S1具体包括以下子步骤：

步骤S11：获取激光雷达采集的点云数据，所述点云数据包括目标点x轴、y轴、z轴的值和反射强度值，对所述点云数据进行数据增强，所述数据增强包括沿z轴方向旋转，添加随机噪点，以及在反射强度值上添加随机噪声；

步骤S12：将反射强度值作为每个所述点云数据的像素值，并标注所述点云数据的类别，得到预处理点云数据。

3.如权利要求2所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S11中在反射强度值上添加随机噪声具体为：在反射强度值上添加均值为0，标准差为1的正态分布的随机噪声。

4.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S2具体包括以下子步骤：

步骤S21：将所述预处理点云数据中的xy轴坐标映射至2D图像中；

步骤S22：对所述2D图像中的每一帧图像采用速率编码或时延编码，得到脉冲序列。

5.如权利要求4所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述速率编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生频率，得到带有时间维度的脉冲序列，且所述脉冲产生频率随着所述反射强度值的增高而增快。

6.如权利要求4所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述时延编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生时序，得到带有时间维度的脉冲序列，且所述脉冲产生时序随着所述反射强度值的增高而越接近时间轴原点。

7.一种基于脉冲神经网络与激光雷达点云的语义分割装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-6中任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法。

8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-6中任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法。