[发明专利]占据预测神经网络

说明书

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于生成对环境的区域的未来占据预测。在一个方面，一种方法包括：接收由载具的传感器系统生成的表征截至当前时间点的载具附近的环境的传感器数据，其中，传感器数据包括表征环境的多个传感器样本，多个传感器样本各自在不同的时间点处被捕获；使用神经网络处理包括传感器数据的网络输入，以生成对环境的区域的占据预测输出，其中：对于当前时间点之后的一个或多个未来时间间隔，占据预测输出表征环境的区域将在未来时间间隔期间被环境中的因素占据的相应可能性。

背景技术

本说明书涉及自主载具。

自主载具包括自驾驶汽车、船只和飞行器。自主载具使用各种装载(on-board)传感器来生成表征其环境的传感器数据，并使用计算机系统处理传感器数据以做出控制和导航决策。

自主载具可以使用机器学习模型做出控制和导航决策。机器学习模型接收输入并基于接收的输入生成输出。一些机器学习模型是参数模型，并基于接收的输入和模型的参数值生成输出。

一些机器学习模型是深度模型，其采用多层模型来为接收的输入生成输出。例如，深度神经网络是深度机器学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层将非线性变换应用于接收的输入以生成输出。

发明内容

本说明书描述了载具的装载系统如何能够预测其环境的区域(例如，交叉路口的一部分)是否将在未来时间间隔内(例如，在当前时间点之后接下来的T秒，例如，在当前时间点之后的时间T1和T2之间)被环境中的因素(例如，另一载具)占据。

根据第一方面，提供了一种方法，该方法包括接收由载具的传感器系统生成的传感器数据，该传感器数据表征截至当前时间点的载具附近的环境。传感器数据包括一组传感器样本，该组传感器样本表征各自在不同时间点处被捕获的环境。使用神经网络处理包括传感器数据的网络输入，以生成对环境的区域的占据预测输出。对于当前时间点之后的一个或多个未来时间间隔，占据预测输出表征环境的区域将在未来时间间隔期间被环境中的因素占据的相应可能性。网络输入被提供给神经网络的输入层，对环境的区域的占据预测输出由神经网络的输出层输出。占据预测输出被提供给载具的规划系统以生成规划载具的未来轨迹的规划决策。

在一些实施方式中，传感器样本包括由载具的一个或多个相机传感器生成的图像。

在一些实施方式中，传感器样本包括由载具的一个或多个激光雷达(lidar)传感器生成的点云数据、由载具的一个或多个雷达传感器生成的传感器数据，或两者。

在一些实施方式中，当前时间点之后的未来时间间隔包括从当前时间点开始的时间间隔。

在一些实施方式中，对于当前时间点之后的一组给定未来时间间隔中的每一个，占据预测输出表征环境的区域将在给定未来时间间隔期间被环境中的因素占据的相应可能性。

在一些实施方式中，对于环境的一组给定区域中的每一个，占据预测输出表征环境的该给定区域将在当前时间点之后的每个未来时间间隔期间被环境中的因素占据的相应可能性。

在一些实施方式中，环境的区域是道路的交叉路口。

在一些实施方式中，该方法还包括由规划系统基于对道路的交叉路口的占据预测输出生成使载具穿过道路的交叉路口的规划决策。

在一些实施方式中，环境的区域是被静止因素占据的道路的部分。

在一些实施方式中，该方法还包括由规划系统基于对被静止因素占据的道路的部分的占据预测输出来生成使载具减速的规划决策。

在一些实施方式中，神经网络是包括一组卷积神经网络层的卷积神经网络。