[发明专利]用于自主车辆的感知系统

说明书

本公开涉及用于自主车辆的感知系统。描述了图像处理技术以进行以下步骤：在车辆正被驾驶时，从位于车辆上的相机获得图像；裁剪所获得的图像的对应于感兴趣区域的一部分；在被裁剪部分中检测物体；围绕被检测物体添加边界框；确定(多个)参考点在边界框上的(多个)位置；以及基于第二组一个或多个参考点在边界框上的所确定的一个或多个位置来确定被检测物体在车辆正在其中被驾驶的空间区域中的位置。

技术领域

本文件涉及用以裁剪从与自主车辆相关联的相机获得的图像的一部分并确定该被裁剪部分中的物体的位置的技术。

背景技术

车辆可包括出于几种目的而附接到车辆的相机。例如，出于安全目的、为进行驾驶辅助或为促进自主驾驶，相机可附接到车辆的车顶。安装在车辆上的相机可以获得车辆周围的一个或多个区域的图像。可以处理这些图像以获得关于道路或关于自主车辆周围的物体的信息。因此，从自主车辆上的相机获得的图像可以用于在直通交通(through traffic)时或在高速公路上安全地操纵自主车辆。

发明内容

公开了用于对从自主车辆(诸如，自主半拖车卡车)上的一个或多个相机获得的图像执行图像处理的技术。

在示例性实施例中，图像处理方法包括：在车辆正被驾驶时，从位于车辆上的相机获得图像；裁剪所获得的图像的对应于感兴趣区域的一部分，该感兴趣区域是基于在所获得的图像上选择的第一组一个或多个参考点的一个或多个位置而识别的；在图像的被裁剪部分中检测物体；围绕在图像的被裁剪部分中的被检测物体添加边界框；从边界框以及在图像的被裁剪部分中确定第二组一个或多个参考点在边界框上的一个或多个位置；以及基于第二组一个或多个参考点在边界框上的所确定的一个或多个位置来确定被检测物体在车辆正在其中被驾驶的空间区域中的位置。在一些实施例中，由示例性图像处理方法通过针对第二组的每个参考点的每个所确定的位置执行以下步骤来确定被检测物体的位置：确定位于穿过参考点的位置的射线上的相机中心点的相机坐标，其中该相机中心点位于相机坐标平面上，该相机坐标平面位于远离接收到图像的图像平面一焦距距离处；至少基于相机坐标来确定参考点的位置的第一世界坐标；以及基于地形图来确定参考点和道路表面的交点的第二世界坐标，其中该地形图提供在车辆正在其中被驾驶的空间区域中的点的坐标。示例性图像处理方法将第二组一个或多个参考点的第二世界坐标分配给被检测物体在空间区域中的位置。

在一些实施例中，基于机器学习技术在图像的被裁剪部分中检测物体。在一些实施例中，通过基于地形图和车辆的位置获得第一组一个或多个参考点的三维世界坐标来选择第一组一个或多个参考点，其中该地形图提供在车辆正在其中被驾驶的空间区域中的点的坐标。

在一些实施例中，通过以下步骤来确定第一组一个或多个参考点在所获得的图像上的所述一个或多个位置：通过使用与所获得的图像相关联的相机姿态信息，将第一组一个或多个参考点的三维世界坐标投影到图像。在一些实施例中，相机姿态信息表征相机的光学性质、取向或位置。在一些实施例中，其中第一组的单个参考点在所获得的图像上的位置是感兴趣区域的中心点，并且其中被裁剪部分具有小于所获得的图像的第二分辨率的第一分辨率。在一些实施例中，其中第一组的两个参考点在所获得的图像上的两个位置分别对应于距车辆的位置的第一距离和第二距离。

在一些实施例中，通过以下步骤来确定交点的第二世界坐标：沿着射线获得第一组点，其中第二组的参考点属于该第一组点；确定对应于第一组点的第一组世界坐标，其中第一世界坐标属于该第一组世界坐标；基于地形图且对应于第一组点来确定道路表面上的第二组点；确定对应于第二组点的第二组世界坐标；确定与第一组世界坐标相关联的每个点和与第二组世界坐标相关联的对应点之间的多个高度；从所述多个高度中确定最小高度；从与该最小高度相关联的第二组点中识别一个点；以及获得该点的世界坐标，其中第二世界坐标被确定为与该点的世界坐标相同。