[发明专利]将用于对象检测的地图特征与LIDAR合并的全面且有效的方法

权利要求书

1.一种操作自主行驶车辆ADV的计算机实现的方法，所述方法包括：

从与所述ADV正在其中行驶的道路相关联的地图中提取多个地图特征；

从表示所述ADV周围的行驶环境的LIDAR数据的点云提取多个点云特征；

将提取的多个地图特征与提取的多个点云特征组合以创建组合特征列表；

将组合特征列表作为输入提供给一个或多个神经网络，以检测所述行驶环境中的一个或多个对象；以及

根据检测的对象规划轨迹，以驱动所述ADV导航通过所述检测的对象。

2.如权利要求1所述的方法，其中当所述ADV行进时，在每个行驶周期，从特定视角内的所述ADV的感知区域提取所述多个地图特征和所述多个点云特征，其中所述视角对应于所述ADV的驶向。

3.如权利要求2所述的方法，其中使用卷积神经网络提取所述多个地图特征，并且所述多个地图特征包括一个或多个车道、一个或多个车道边界、一个或多个交通标志以及一个或多个路缘。

4.如权利要求2所述的方法，其中从所述地图中提取所述多个地图特征包括：

形成多个层，每个层对应于从所述地图提取的所述地图特征中的一个；

将所述多个层转换为红、蓝和绿RGB表示；以及

使用卷积神经网络的一个或多个卷积层从所述RGB表示提取所述多个特征。

5.如权利要求1所述的方法，其中预先计算并缓存所述提取的地图特征以加速卷积神经网络的在线推断。

6.如权利要求2所述的方法，其中使用全连接网络提取所述多个点云特征，所述全连接网络用于将所述感知区域内的空间分割为多个等间隔的体素，以使用多个逐点特征编码每个非空体素，以及将所述逐点特征与局部聚集的特征组合。

7.如权利要求6所述的方法，其中每个非空体素的所述多个逐点特征表示从所述体素内的所有LiDAR点得出的统计量，以及包括从所述体素的中心到所述点云的原点的距离、所述体素内的LiDAR点的最大高度以及所述体素内的LiDAR点的平均高度。

8.如权利要求1所述的方法，其中所述神经网络包括卷积神经网络和区域建议网络，其中所述卷积神经网络基于所述地图特征和所述点云特征生成特征图，以及其中所述区域建议网络将所述特征图映射到一个或多个期望的学习目标以生成对象检测。

9.一种非暂时性机器可读介质，其中存储有指令，当由处理器执行所述指令时，使得所述处理器执行操作自主行驶车辆ADV的操作，所述操作包括：

从与所述ADV正在其中行驶的道路相关联的地图中提取多个地图特征；

从表示所述ADV周围的行驶环境的LIDAR数据的点云提取多个点云特征；

将提取的多个地图特征与提取的多个点云特征组合以创建组合特征列表；

将组合特征列表作为输入提供给一个或多个神经网络，以检测行驶环境中的一个或多个对象；以及

根据检测的对象规划轨迹，以驱动所述ADV导航通过所述检测的对象。

10.如权利要求9所述的机器可读介质，其中当所述ADV行进时，在每个行驶周期，从特定视角内的所述ADV的感知区域提取所述多个地图特征和所述多个点云特征，其中所述视角对应于所述ADV的驶向。

11.如权利要求10所述的机器可读介质，其中使用卷积神经网络提取所述多个地图特征，并且所述多个地图特征包括一个或多个车道、一个或多个车道边界、一个或多个交通标志以及一个或多个路缘。

12.如权利要求10所述的机器可读介质，其中从所述地图中提取所述多个地图特征包括：

形成多个层，每个层对应于从所述地图提取的所述地图特征中的一个；

将所述多个层转换为红、蓝和绿RGB表示；以及

使用卷积神经网络的一个或多个卷积层从所述RGB表示提取所述多个特征。