[发明专利]用于自动驾驶车辆的改进的物体检测

说明书

背景技术

自动驾驶车辆(AV)需要连续的传感器数据处理，以便操作通过公共道路上的道路交通，以便匹配甚至超越人的能力。AV可以配备有包括立体相机和光流传感器的多种传感器，但是实时对来自具有足够保真度的立体相机的图像进行处理以正确地识别和分类障碍物是一个挑战。此外，添加额外的传感器需要更多处理功率并且生成冗余和无关的数据。

在立体视觉中，从相对于彼此略微移位的一对相机或相机的一对镜头来捕捉图像。这种位置的不同被称为水平视差并且允许立体相机感知和计算深度或从相机到场景中的物体的距离。目前，立体成像主要通过利用视差效应来实现。通过提供用于左眼的左图像和用于右眼的右图像，当观看者以适当的观看角度观察图像时，向观看者传送3D印象是可能的。双视立体视频是通过利用这样的效应所生成的视频，并且该视频的每一帧均包括用于左眼的图像和用于右眼的另一图像。可以通过处理双视立体视频来获取帧中的物体的深度信息。用于图像的所有像素的深度信息构成视差映射。

光流是由观察者(眼睛或相机)和场景之间的相对运动所引起的视觉场景中的物体、表面和边缘的明显的运动的模式。光流方法尝试针对每个像素或体素位置来计算在不同时间拍摄的两个图像帧之间的运动。光流传感器是能够测量光流或视觉运动并且基于光流而输出测量的视觉传感器。

附图说明

本文中的公开内容以示例而不是限制的方式被示出，在附图的图片中，其中相似的附图标记指的是相似的元件，并且在附图中：

图1示出了用于操作包括如本文中所描述的自动驾驶车辆的示例性控制系统；

图2示出了依据一个或多个实施例的包括视差映射和物体分类系统的示例性自动驾驶车辆；

图3是物体分类的示例方法；

图4是使用传感器数据和3D映射的物体分类的示例方法；以及

图5是示出了可以在其上实施本文中描述的示例的计算机系统的方框图。

具体实施方式

公开了使自动驾驶车辆(AV)能够对针对AV而言可以证明是危险的物体进行高效地识别和分类的物体检测和分类系统。为了对车辆周围环境中的物体进行检测和分类，配备在车辆上的传感器可以连续地获得环境的数据，并且将传感器数据处理为一个或多个图像或其它方便的格式，以用于分析和比较数据。例如，视差映射器可以将来自立体相机的图像对处理为视差图像或映射，并且光流单元可以将来自相机或其它光流传感器的连续图像处理为显示出图像中的像素的随着时间的运动矢量的图像。

在一个示例中，不是分析传感器数据的每个通道的整体，这可以是过分耗时的并且需要大量的处理功率，而是联合分类器可以最优地仅关注传感器数据中所发现的感兴趣或意想不到的方面。在一些实施方式中，分类器可以将来自处理的传感器数据的图像映射与3D环境数据的子映射进行比较。例如，从立体相机图像得到的视差数据可以形成视差映射，其显示了从车辆到环境中的物体的距离。假设在场景中不存在没有被包括在3D环境数据中的新的特征或物体，则视差映射数据应该与从车辆到3D环境数据中的已知的物体的距离大致相等(考虑到映射不准确，在合理的误差界限内)。在另一示例中，在场景的连续图像之间所计算的光流矢量应该与已知的物体相匹配(即，静止的物体应该在非移动的参考系中显示为不移动)。

根据实时传感器数据和先前记录的子映射环境数据所创建的图像映射之间的任何差异标识对自环境数据上次更新以来具有未知的特征/物体或改变的区域潜在地。因此，分类器可以确定图像映射中的与这些未知的物体相对应的像素的集合，以便减少针对传感器数据所执行的以针对车辆而言可以是危险的物体进行分类的进一步数据处理的量。针对识别的像素的每个集合，分类器可以对与所识别的像素相对应的其它传感器数据的图像和部分进行分析，以发现未在3D环境数据中被表示的物体。针对发现的物体中的每一个，分类器可以将物体分类为诸如其它车辆、骑自行车者、或行人等的类别。此外，分类器可以识别关于每个物体的情境信息，例如，物体的速度和姿态、移动方向、其它动态物体的存在、以及其它信息。

在一些示例中，用于自动驾驶车辆的物体检测系统处理针对在其上正在驾驶自动驾驶车辆的路段所获取的包括一个或多个图像的传感器数据。物体检测系统将图像与路段的三维(3D)环境数据进行比较，以确定图像中的与在3D环境数据中先前未被识别的物体相对应的像素。然后，物体检测系统分析像素以对在3D环境数据中先前未被识别的物体进行分类。