[发明专利]一种基于强化学习算法的自动驾驶行为决策方法

说明书

本发明的目的在于公开一种基于强化学习算法的自动驾驶行为决策方法，基于传感器对周围目标信息的感知，自动驾驶车辆可以完成在巡航，跟车，换道，超车，制动等状态间的切换，基于预先规划的路线完成自主行驶功能。基于强化学习的行为决策系统采用了在演员‑评论家（Actor‑Critic）算法上改进的TD3算法，有效避免了可能存在的迭代训练无法收敛的问题，同时具有更快的学习速度。

技术领域

本发明涉及自动驾驶技术领域，涉及了一种用于L4级自动驾驶车辆的基于深度强化学习的行为决策方法。

背景技术

随着汽车保有量的不断增加，随之带来的交通拥堵问题与交通安全问题开始得到越来越多的重视。而发展自动驾驶可以很好的应对这一系列的问题，因此，自动驾驶技术开始受到越来越多的重视，也是未来汽车比不可少的功能之一。自动驾驶系统按照层次可以分为环境感知，行为决策，运动控制三个部分。行为决策系统的主要功能可以概括为基于上层感知层输入的汽车当前的行驶状态，周围环境信息，以及驾驶任务等信息对驾驶行为进行决策。

发明内容

(一)要解决的技术问题

本发明的目的在于公开一种基于强化学习算法的自动驾驶行为决策方法，基于传感器对周围目标信息的感知，自动驾驶车辆可以完成在巡航，跟车，换道，超车，制动等状态间的切换，基于预先规划的路线完成自主行驶功能。

 (二)发明内容

为实现上述目的，本发明实施例提供如下技术方案：一种基于强化学习算法的自动驾驶行为决策方法，基于传感器对周围目标信息的感知，自动驾驶车辆完成各种行驶状态间的切换，其特征是包括以下步骤：

步骤S1：利用有限状态机来建立基于规则的行为决策系统，有限状态机可以表示为一个五元组：

F＝(S，s₀，F，∑，δ) ，

其中，S为状态集；s₀为状态机的默认状态，即初始状态集；F为终止状态，中止状态可能为空集，即无结束状态；∑为事件集合，即状态机的所有可能的输入的集合；δ为转移逻辑，输入事件与当前状态共同作用造成状态转移：∑×S→S 。

在有限状态机中，对象由事件触发和状态迁移来表征，当输入目标输入信息到有限状态机当中时，状态会通过转移路径发生转移，最终输出状态对应的动作 ,基于规则的行为决策系统将自动驾驶车辆的目标进行分类，包括初始化，巡航，跟车，换道，制动状态；

步骤S2：自动驾驶车辆基于自车当前时刻状态，车辆传感器得到行为决策必须的基于周围环境的目标输入信息，目标输入信息包括目标的位置与状态ID信息，基于目标输入信息，基于规则的行为决策系统出下一时刻自动驾驶车辆目标状态；

步骤S3：结合经验池与强化学习模型，建立基于强化学习的行为决策系统，将采集到的人类驾驶员驾驶行为进行抽取得到状态行为集合，并放入经验池进行存储，训练基于强化学习的行为决策系统，基于当前时刻状态与目标输入信息，输出下一时刻车辆目标状态；

步骤S4：建立仲裁系统，仲裁系统对基于规则的行为决策系统与基于强化学习的行为决策系统做出的结论进行评估与仲裁，输出最终确定的下一时刻的自动驾驶车辆目标状态。

作为优选，所述步骤S3包括以下分步骤：

S301：采集到的人类驾驶员驾驶行为，得到状态行为集合；

S302：将状态行为集合放入经验池进行存储，系统基于经验池对强化学习模型进行训练，基于自车当前时刻状态与目标输入信息，结合经验池与强化学习模型，输出下一时刻车辆目标状态。

作为优选，所述步骤S301又包括以下分步骤：

S3011：采集人类驾驶员在不同驾驶场景下的动作序列τ_i：