[发明专利]基于分层强化学习的自动驾驶决策方法和装置

说明书

本发明提供了基于分层强化学习的自动驾驶决策方法和装置，包括：获取上游数据，上游数据包括感知融合数据、定位数据和控制数据；将上游数据输入到深度学习的模型中，输出得到感受野模型和第一预测轨迹；将感受野模型和第一预测轨迹输入到强化学习算法中，输出得到第一规划轨迹；根据第一规划轨迹控制车辆执行相应操作；将深度学习的模型和强化学习算法结合，确保了决策的稳定性和前瞻性，降低了预测的计算消耗。

技术领域

本发明涉及自动驾驶领域，尤其是涉及基于分层强化学习的自动驾驶决策方法和装置。

背景技术

自动驾驶目前应用的决策技术主要是基于状态机的决策方法。该方法使用逻辑推理的状态转移，从一个上层的既定逻辑进入下层决策，比如：先决定是否吃饭再决定吃什么。状态机的决策是稳定可靠的，但是随着需要使用的场景的增加，状态机会不断的扩展，复杂化。在自动驾驶领域中，要覆盖的交通场景千变万化，状态机无论是深度还是广度都不具有很好的泛化性，而且伴随着自动驾驶任务的增加，代码的数量和维护难度也都会指数级增加。如果上层决策发生了变化，下层的决策就需要一一的完善。因此适用性和泛用性都有一定的限制。

使用深度学习和强化学习等新兴技术可以使模型的泛化能力更强，基于深度强化学习的模型更是能获得更优秀的决策，但是在做自动驾驶的决策中，由于上游模块的限制，决策模块无法获得非常准确的推演。同时，由于人工智能中经常使用的相关优化求解工具：神经网络在一系列的变换过程中可解释性有所下降，对于决策模块的问题无法做出很好的针对性提升。通过分层强化学习也可以更直接的获得模型内部数据的一些语义层的解释，极大的增加了智能体的可解释性，进而增加了决策模块的稳定性和前瞻性。

但是，仅仅在决策层使用强化学习等人工智能技术，在实际使用中仍然会出现和上下游出现分歧的方面，在预测到决策的连接中这个问题尤为明显。预测模块目前普遍是对周围一定范围的车辆进行预测，其感受野虽然会进行一定的设计，但是对于决策而言，在使用的时候仅仅会使用部分较为关注的车辆，在这个过程中一些边缘车辆就会做无效预测，造成算力的浪费和预测效果的扰动增加。同时对于决策过程中的重要障碍物，往往我们需要更为准确的预测，但是大部分预测方法都是在一个运行周期内对障碍物使用相同的方法，没有得到更好的效果。对于一些复杂场景的决策，会在预测层形成一定的“瓶颈”，对于决策模块想要采取的主动决策会造成一定的影响。

发明内容

有鉴于此，本发明的目的在于提供基于分层强化学习的自动驾驶决策方法和装置，将深度学习的模型和强化学习算法结合，确保了决策的稳定性和前瞻性，降低了预测的计算消耗。

第一方面，本发明实施例提供了基于分层强化学习的自动驾驶决策方法，所述方法包括：

获取上游数据，所述上游数据包括感知融合数据、定位数据和控制数据；

将所述上游数据输入到深度学习的模型中，输出得到感受野模型和第一预测轨迹；

将所述感受野模型和所述第一预测轨迹输入到强化学习算法中，输出得到第一规划轨迹；

根据所述第一规划轨迹控制车辆执行相应操作。

进一步的，所述感知融合数据包括障碍物坐标信息、红绿灯种类信息和车辆类别信息；所述定位数据包括自车的位置信息和周围车辆的位置信息；所述控制数据包括所述自车的状态信息和方向盘转角信息。

进一步的，所述方法还包括：

将所述上游数据输入到车辆预测算法中进行预训练，构建预测模型；

获取当前上游数据；

将所述当前上游数据输入到所述预测模型中，输出得到所述预测轨迹；

其中，车辆预测算法为栅格法、LSTM或锚点法。

进一步的，所述方法还包括：