[发明专利]用于运载工具的方法和系统以及运载工具

说明书

本发明涉及用于运载工具的方法和系统以及运载工具。公开了使用LSN的GPE的实施例。在实施例中，方法包括：从在环境中操作的运载工具的深度传感器获得点云；对点云进行编码；使用深度学习网络以经编码的点云作为输入来估计环境中的地平面；基于所估计的地平面的可驾驶区域来规划通过环境的路径；以及沿路径操作运载工具。深度学习网络包括二维(2D)卷积主干和用于估计地平面的地平面估计(GPE)头。在实施例中，使用点柱对点云进行编码。

技术领域

以下描述大体上涉及用于自主运载工具的路线规划的地面估计。

背景技术

安装在自主运载工具(AV)上的光检测和测距(LiDAR)传感器输出三维(3D)点云，该三维点云提供对AV周围的环境的详细理解。地平面估计(GPE)是地平面相对于自主运载工具的高度的量度。精确的GPE有助于高效的基于融合的自主驾驶。然而，现有的感知流水线通常使用传统的机器学习技术将LiDAR点分类为前景或地面。

发明内容

提供了使用LiDAR语义网络(LSN)的GPE的技术。

在实施例中，一种方法，包括：使用至少一个处理器从在环境中操作的所述运载工具的深度传感器获得点云；使用所述至少一个处理器对所述点云进行编码；使用深度学习网络以经编码的点云作为输入来估计所述环境中的地平面；使用所估计的地平面和所述环境的地图来确定所述环境中的可驾驶区域；使用所述至少一个处理器基于所述可驾驶区域来规划通过所述环境的路径；以及使用所述运载工具的控制电路沿所述路径操作所述运载工具。

在实施例中，所述深度学习网络包括二维卷积主干即2D卷积主干、以及用于估计所述地平面的地平面估计头即GPE头，所述方法还包括：使用所述至少一个处理器根据所述2D卷积主干的多个步幅获得特征图；使用所述至少一个处理器将各特征图上采样为原始特征图大小；以及使用所述至少一个处理器和加权求和来组合上采样特征图以生成用于估计所述地平面的输出图。

在实施例中，对所述点云进行编码还包括：将所述点云划分为图像嵌入中的2D柱；针对各柱，选择多个采样点；向所选择的采样点添加多个增强；以及使用点网络来处理各柱以获得该柱的点特征；将所述点特征基于相应的柱位置绘制成点特征图以创建2D点特征图；使用所述2D卷积主干对所述2D点特征图进行处理以获得不同步幅的丰富特征图；以及将所述丰富特征图传递到所述GPE头以估计所述地平面。

在实施例中，所述图像嵌入是鸟瞰图像即BEV图像。

在实施例中，所述GPE头包括一个或多个卷积层。

在实施例中，一种方法包括：使用至少一个处理器获得在环境中操作的深度传感器所捕获的点云；使用至少一个处理器对所述点云进行编码；以及使用深度学习网络以经编码的点云作为输入来估计所述环境中的地平面；使用所述至少一个处理器将所估计的地平面与地面真值图进行比较以确定地平面估计损失；以及使用所述至少一个处理器基于所确定的地平面估计损失来更新所述深度学习网络的参数。

在实施例中，将所估计的地平面与所述地面真值图进行比较以确定地平面估计损失还包括使地平面估计与所述地面真值图的损失函数最小化。

在实施例中，所述损失函数是平滑-l回归损失。

在实施例中，所述深度学习网络包括耦接至用于估计所述地平面的地平面估计头即GPE头的2D卷积主干，所述方法还包括：使用所述至少一个处理器根据所述2D卷积主干的多个步幅获得特征图；使用所述至少一个处理器将各特征图上采样为原始特征图大小；以及使用所述至少一个处理器和加权求和来组合上采样特征图以生成用于估计所述地平面的输出图。。