[发明专利]使用人类驾驶模式来管理自主车辆的速度控制的系统和方法

说明书

公开了一种用于使用人类驾驶模式来管理自主车辆的速度控制的系统和方法。具体实施例包括：生成与期望的人类驾驶行为相对应的数据；使用强化学习过程和期望的人类驾驶行为来训练人类驾驶模型模块；接收建议的车辆速度控制命令；通过使用人类驾驶模型模块来确定建议的车辆速度控制命令是否符合期望的人类驾驶行为；以及基于所述确定来验证或修改建议的车辆速度控制命令。

相关申请的交叉引用

本申请要求于2017年9月7日提交的美国专利申请No.15/698，375的优先权，该申请全文通过引用并入本文。

版权声明

本专利文件的公开的一部分包含受版权保护的材料。版权拥有者不反对任何人按照在美国专利商标局的专利文件或记录中所显示的那样以传真形式复制本专利文件或专利公开，但在其他方面保留所有版权。以下声明适用于本文的公开内容以及形成本文档一部分的附图：版权2016-2017，TuSimple，保留所有权利。

技术领域

本专利文件总体上涉及用于车辆控制系统、自主驾驶系统、车辆控制命令生成的工具(系统、装置、方法、计算机程序产品等)，更具体地涉及，但不限于，用于使用人类驾驶模式来管理自主车辆的速度控制的系统和方法。

背景技术

自主车辆通常被配置和控制为遵循基于计算的行驶路径的轨迹。然而，当诸如障碍物的变量存在于行驶路径上时，自主车辆必须执行控制操作，使得可以通过实时改变行驶路径或速度来安全地驾驶车辆。车辆的自主驾驶系统或控制系统必须进行这些控制调整，以使车辆遵循期望的轨迹并以期望的速度行驶，同时避开障碍物。但是，这些控制调整可能导致突然、令人不适的、甚至不安全的车辆操纵。

发明内容

本文公开了一种用于使用人类驾驶模式来管理自主车辆的速度控制的系统和方法。本文描述的各种示例实施例提供了采用许多参数来控制车辆的速度的自主驾驶控制过程。示例实施例使自主车辆能够通过使用强化学习框架以学习如何以与自然的人类驾驶行为相对应的方式来调节这些参数，以执行被建模为类似于相对应的自然的人类驾驶行为的加速和减速。自主驾驶控制过程始于粗略训练的参数集，该参数集允许车辆可以在道路上或模拟中正常运行。当车辆在道路上或模拟中运行时，自主驾驶控制过程会随着时间收集车辆的速度简档数据，并将获得的速度简档数据与强化学习框架中维护的相对应的人类驾驶行为数据进行比较。紧密遵循相对应人类行为的实际或模拟速度简档被奖励，而偏离相对应人类行为的简档被惩罚。基于这些奖励/惩罚，自主驾驶控制过程可以调谐其参数集，从而偏向类似于相对应人类行为的简档和行为。

附图说明

在附图的各图中以示例而非限制的方式示出了各种实施例，在附图中：

图1示出了其中可以实现示例实施例的车辆速度控制模块的示例生态系统的框图；

图2示出了示例实施例的车辆速度控制系统的组件；

图3示出了包括用于使用被称为强化学习的过程来训练人类驾驶模型模块的过程的示例实施例；

图4示出了可以在车辆正在沿其行驶的轨迹上的各个点处捕捉操作中的车辆的操作数据的示例性实施例；

图5示出了示例实施例中的强化学习过程；

图6和图7示出了示例实施例中的强化学习处理的操作；

图8是示出了用于使用人类驾驶模式来管理自主车辆的速度控制的系统和方法的示例实施例的过程流程图；以及

图9以计算机系统的示例形式示出了机器的示意图，在该计算机系统内一组指令在被执行时可以使得机器执行本文所讨论的方法中的任何一个或多个。

具体实施方式