[发明专利]从图像进行三维位置预测

说明书

用于从图像预测三维对象位置的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。方法之一包括获得图像序列，该图像序列包括在多个时间步长中的每一个处由相机在该时间步长处捕获的相应图像；对于序列中的每个图像，生成图像中已经被确定为描绘第一对象的区域的相应伪激光雷达表示的相应伪激光雷达特征；为序列中特定时间步长处的特定图像，生成特定图像中已被确定为描绘第一对象的区域的图像块特征；以及从相应伪激光雷达特征和图像块特征生成预测，该预测表征在序列中的特定时间步长处第一对象在三维坐标系中的位置。

技术领域

本说明书涉及预测环境中的对象的位置。

背景技术

环境可以是真实世界的环境，并且对象可以是例如载具或环境中的其他对象。例如，预测可以由自主载具进行。自主载具包括自动驾驶汽车、船只和飞机。自主载具使用各种板载传感器和计算机系统来检测附近的对象，并使用这种检测来做出控制和导航决策。

发明内容

附图说明

图1A是为图像中的示例对象生成位置预测的图示。

图1B是示例系统的示意图。

图2是用于生成位置预测输出的示例过程的流程图。

图3示出了为图像序列中描绘的对象生成位置预测的示例。

图4是用于生成位置预测输出的另一示例过程的流程图。

不同附图中相同的附图标记和名称表示相同的元素。

具体实施方式

本说明书描述了实施为一个或多个位置中的一个或多个计算机上的计算机程序的系统，该系统为在一个或多个图像中检测到的对象生成三维位置预测。

位置预测被称为“三维”位置预测，因为它结合了对象的深度，即对象距捕获该一个或多个图像的传感器或距另一点的距离。这与仅标识图像中的描绘对象的区域的“二维”位置预测形成对比。

确定环境中对象的三维位置对于许多任务而言是重要问题。例如，自主载具使用一个或多个传感器来感测自主载具附近的对象。确定感测对象的三维位置可以帮助自主载具安全地做出全自主驾驶决策或者向人类驾驶员提供半自主驾驶辅助。

然而，虽然一些传感器，例如激光雷达传感器，可以准确地测量从传感器到传感器感测的对象的距离，但是一些自主载具可能没有配备这种传感器。即使当载具配备有这样的传感器时，距离测量也可能不是对于给定场景中的所有对象可用，例如，在对象在传感器的范围(range)之外的情况下，如果传感器发生故障，在对象从传感器被遮挡的情况下，或者在传感器由于另一原因不能感测对象的情况下。

因此，当自主载具不具有能够准确测量距离的传感器时，或者当来自这种传感器的距离测量不可用时，直接从相机图像(即不依赖于来自其他传感器的测量)确定对象的三维位置，对于自主载具的操作可能是至关重要的。

然而，相机图像是对图像中捕获的场景的二维表示。也就是说，相机图像仅提供二维网格中每个像素的强度值，而不直接包括任何三维信息。因此，直接从相机图像确定对象的三维位置是一个具有挑战性的问题。

一些系统试图通过生成给定图像的密集深度图来预测给定图像中描绘的对象的三维位置。密集深度图将预测的深度值分配给给定图像的每个像素，使得给定像素的深度值表示从捕获给定图像的相机到在该给定像素处描绘的场景的部分的预测的三维距离，即深度。这些系统然后直接使用深度图，例如通过确定到对象的三维距离是图像的与对象相对应的区域中的像素的预测的深度值，来估计对象的距离。然而，因为准确地估计图像中每个像素的深度是困难的，所以这些密集深度图是有噪声的，并且产生的对象深度可能是不准确的。