[发明专利]一种基于深度Q学习的自动驾驶换道决策方法

说明书

一种基于深度Q学习的自动驾驶换道决策方法，属于自动驾驶技术领域。解决了现有自动驾驶车辆基于强化学习进行换道决策，由于驾驶环境状态复杂，导致学习的效率很低的问题。本发明采集目标自动驾驶车辆前后和同向左和/或右车道车辆的相对位置及与相对速度；将相对位置及与相对速度作为环境向量，输入至经Q值函数训练的全连接神经网络，获得所有换道动作的Q值估计值；判断所有换道动作是否属于当前时刻安全动作集合，提取属于当前时刻安全动作集合的换道动作；采用Argmax函数，从所述属于当前时刻安全动作集合提取Q值估计值最大的换道动作，将Q值估计值最大的换道动作作为下一时刻的换道动作。本发明适用于自动驾驶换道。

技术领域

本发明属于自动驾驶技术领域。

背景技术

换道决策是绝大多数驾驶场景下的基本行为，例如车辆合流、车辆分流、超车、环形 交叉口路口通行等等，因此建立自动驾驶车辆换道决策的有效方法是实现各种驾驶场景下 的自动驾驶必备、重要且复杂的功能。

传统的自动驾驶换道决策方法通常是基于规则的，即根据专家经验和行业知识，针对 特定的换道场景，指定相应的换道动作。这种方法过于“僵硬”，难以应用于未知情况下的 换道决策，导致决策方法难以泛化的问题。近年来，研究人员普遍重视基于强化学习，尤 其是深度强化学习的自动驾驶换道决策的方法。强化学习能够允许自动驾驶车辆不断的与 环境互动，进而收集经验，然后不断提高自身的换道决策水平。这种方式固然有非常好的 泛化能力，能够处理各种未知的驾驶场景，但是其根本的问题在于：(1)无法完全保证自 动驾驶换道决策行为的安全。这是因为，强化学习中是通过指定奖励函数来促进决策水平 的提升，而针对换道通常的奖励函数是发生碰撞时，给以一个很大的负奖励，从而尽量避 免自动驾驶车辆换道引发安全问题，但尽管如此，无法从根本上避免事故；(2)强化学习的精髓在于自动驾驶车辆与环境不断的互动，然后收集经验，但是由于驾驶环境状态的复杂性(状态空间复杂)，导致学习的效率很低。

发明内容

本发明目的是为了解决现有自动驾驶车辆基于强化学习进行换道决策，由于驾驶环境 状态复杂，导致学习的效率很低，自安全性差的问题，提供了一种基于深度Q学习的自动 驾驶换道决策方法。

本发明所述一种基于深度Q学习的自动驾驶换道决策方法，包括：

步骤一、采集目标自动驾驶车辆前后和同向左和/或右车道车辆的相对位置及与相对速 度；

步骤二、将步骤一所述的相对位置及与相对速度作为环境向量，输入至经Q值函数训 练的全连接神经网络，获得所有换道动作的Q值估计值；

步骤三、判断所有换道动作是否属于当前时刻安全动作集合，提取属于当前时刻安全 动作集合的换道动作；

步骤四、采用Argmax函数，从所述属于当前时刻安全动作集合提取Q值估计值最大的换道动作，将所述Q值估计值最大的换道动作作为下一时刻的换道动作。

进一步地，本发明中，步骤二中所述的环境向量包括同向车道的环境车辆与目标自动 驾驶车辆的相对位置和相对速度，当环境为同向为三车道时表示为：

s＝[dr_lq，vr_lq，dr_cq，vr_cq，dr_rq，v_RL，dr_qf，vr_qf，dr_cf，vr_cf，dr_rf，vr_rf，]

其中，s为环境向量，dr，vr分别表示环境车辆与目标自动驾驶车辆的相对位置和相对 速度，其角标第一个字母l，c，r分别表示左侧车道、当前车道和右侧车道，第二个字母q， f分别表示前方车辆、后方车辆；v_RL表示目标自动驾驶车辆的速度。