[发明专利]一种基于深度Q学习的自动驾驶换道决策方法

权利要求书

1.一种基于深度Q学习的自动驾驶换道决策方法，其特征在于，包括：

步骤一、采集目标自动驾驶车辆前后和同向左和/或右车道车辆的相对位置及与相对速度；

步骤二、将步骤一所述的相对位置及与相对速度作为环境向量，输入至经Q值函数训练的全连接神经网络，获得所有换道动作的Q值估计值；

步骤三、判断所有换道动作是否属于当前时刻安全动作集合，提取属于当前时刻安全动作集合的换道动作；

步骤四、采用Argmax函数，从所述属于当前时刻安全动作集合提取Q值估计值最大的换道动作，将所述Q值估计值最大的换道动作作为下一时刻的换道动作。

2.根据权利要求1所述的一种基于深度Q学习的自动驾驶换道决策方法，其特征在于，步骤二中所述的环境向量包括：同向车道的环境车辆与目标自动驾驶车辆的相对位置和相对速度，当环境为同向为三车道时表示为：

s＝[dr_lq，vr_lq，dr_cq，vr_cq，dr_rq，v_RL，dr_qf，vr_qf，dr_cf，vr_cf，dr_rf，vr_rf，]

其中，s为环境向量，dr，vr分别表示环境车辆与目标自动驾驶车辆的相对位置和相对速度，其角标第一个字母l，c，r分别表示左侧车道、当前车道和右侧车道，第二个字母q，f分别表示前方车辆、后方车辆；v_RL表示目标自动驾驶车辆的速度。

3.根据权利要求1所述的一种基于深度Q学习的自动驾驶换道决策方法，其特征在于，步骤二中所述的换道动包括向左换道、保持当前车道和向右换道。

4.根据权利要求1所述的一种基于深度Q学习的自动驾驶换道决策方法，其特征在于，骤二中,获得所有换道动作的Q值估计值方法为：

利用奖励函数对驾驶速度进行拟合；

所述奖励函数为：r_t＝-|v_RL，t-v_des，t|

当目标自动驾驶车辆行驶速度越接近期望速度，奖励值越高，其中，v_des，t为t时刻的期望速度；v_RL,t为t时刻目标自动驾驶车辆的实际速度；

利用奖励函数计算当前时刻的Q值估计值y_t：

其中，a′为下一时刻选择的换道动作，s_t+1是下一时刻自动驾驶车辆所处的环境状态向量，θ是当前时刻带有全连接神经网络的参数；Q(s_t+1,a′；θ)为全连接神经网络对下一时刻Q值的估计值。

5.根据权利要求1所述的一种基于深度Q学习的自动驾驶换道决策方法，其特征在于，当前时刻安全动作集合为：

其中，A_safe(t)为当前时刻的安全动作的集合，为自动驾驶车辆当前车道在时刻t的安全行驶空间，为自动驾驶车辆左侧车道在时刻t的安全行驶空间，为自动驾驶车辆右侧车道在时刻t的安全行驶空间，p_a(t)为t时刻自动驾驶车辆的执行动作a后的位置，a表示当前时刻的换道动作，A为换道动作集合，

A＝{a₁＝向左换道，a₂＝保持当前车道，a₃＝向右换道}，[t_b,t_h]为动作a执行的时间范围，t_b为开始执行动作a的时间，t_h执行动作a结束的时间。