[发明专利]适用于环岛场景的无人驾驶控制系统和控制方法

权利要求书

1.适用于环岛场景的无人驾驶控制方法，通过适用于环岛场景的无人驾驶控制系统实现，所述控制系统包括感知认知模块、驾驶控制模块和轨迹控制模块；其特征在于，

所述感知认知模块，用于获得当前车辆以及环境车辆行驶状态信息，并进行信号处理；

所述驾驶控制模块，用于学习合适的决策参数值；

所述轨迹控制模块，用于得到优化规划后的可行轨迹；

所述控制方法包括以下步骤，

步骤一，马尔科夫驾驶决策过程状态与动作设计；

驾驶决策基于强化学习方法建模为马尔科夫决策过程，包含表征影响智能体驾驶决策因素的状态向量S、可增强智能体决策智能的精细化决策的动作向量A的设计；

步骤二，Actor的网络框架设计；

在强化学习Actor-Critic框架中，Actor依据状态向量选择动作，即表征驾驶决策；状态向量包含环境表征和任务表征两部分；通过Actor的网络框架的重设计，使得状态向量在不同阶段具有不同的策略，达到平衡环境表征和任务表征不同维数，使得智能车辆在环岛中行驶时可以准确的识别不同情况的驾驶环境并准确完成驾驶任务；

步骤三，回报函数设计；

智能体在环境中依据状态向量S选择动作A，得到回报信号，并依据回报信号对策略进行更新；

步骤一的马尔科夫驾驶决策过程状态与动作设计中，包括以下步骤，

第一步，状态变量设计；

状态变量在强化学习算法中用于动作选择以及值函数估计，包括本车与周车相对状态相关的环境表征、以及与本车驾驶任务相关的任务表征两部分的状态变量设计，环境表征用于智能体完成安全决策，任务表征用于智能体完成驾驶任务；

第二步，动作变量设计；

在决策层考虑多层面的驾驶行为；表征本车的驾驶决策的动作向量A，包含离散的宏观驾驶行为，为终端相对于本车道中心线的侧向偏移T_y，以及连续的中微观驾驶行为，为加入决策变量期望加速度a_tar，动作时间t_a；终端相对于本车道中心线的侧向偏移T_y∈{-L,0,L}，分别代表左换道，车道保持，右换道；L为相邻两车道的距离；然后通过动作向量A＝(T_y,a_tar,t_a)^T综合表征驾驶决策，作为输入变量输入下层的轨迹规划层和车辆控制层；

第一步的状态变量设计中；对于环境表征，在环岛中，周车中一部分与本车相邻，为直接接触交互的，并需要注意的车辆；这些车辆的位置是P₁,P₂,....,P₇；k时刻这些位置车辆的相对车道ΔL_n(k)，相对速度Δv_n(k)，加速度a_n(k)，相对距离d_n(k)，驾驶意图I_n(k)被考虑在环境表征中，下标n对应的是所处的位置编号P_n处的车辆信息；这里相对车道ΔL_n(k)由ΔL_n(k)＝L_n(k)-L_h(k)计算得到，其中L_n(k),L_h(k)分别为k时刻P_n处车辆的车道以及本车车道；相对速度Δv_n(k)由Δv_n(k)＝v_n(k)-v_h(k)计算得到，其中v_n(k),v_h(k)分别为k时刻P_n处车辆的速度以及本车速度；驾驶意图I_n(k)∈{-1,0,1}分别表示k时刻P_n处车辆有左换道，车道保持，和右换道的意图；与此同时，人类驾驶员根据周围车辆的状态做决策，且根据某一车道上的车流信息，选择一个通畅的车道，减少堵车停顿的概率；近域前后方车流，如位置P₈,P₉,....,P₁₂，作为另一部分的环境表征；位置P₈,P₉,....,P₁₂的状态由k时刻车流的平均相对车速平均车头时距表示。这里k时刻P_n处的车辆j与前车的车头时距为TH_n,j(k)＝d_n,j(k)/v_n,j(k)，其中d_n,j(k),v_n,j(k)分别为k时刻车辆j与前车的相对距离和车辆j的车速；则k时刻，位置P₁,P₂,....,P₇处每个位置P_n的状态变量表示为式(1)，

S_Pn(k)＝(F_n(k),ΔL_n(k),Δv_n(k),a_n(k),d_n(k),I_n(k))^T, (1)

其中F_n∈{1,0}表示相应的位置是否是一个可行的车道；k时刻，位置P₈,P₉,....,P₁₂状态变量处的状态变量表示为式(2)，

则k时刻，环境表征表示为式(3)，

对于任务表征，在环岛中，所述驾驶控制模块完成路线导航规划中的设定驾驶任务，使得智能车辆从某一入口驶入环岛后从另一出口驶出；则k时刻，本车相对于出口的相对纵向距离Δl_h(k)以及相对车道ΔL_h(k)在任务表征中；本车相对于出口的相对纵向距离Δl_h(k)表示为式(4)，

其中Δα_h(k),D_E,D_h(k),α_E,α_h(k)分别为k时刻本车相对于出口位置E的圆心角，出口位置E以及本车k时刻所在车道的直径，出口位置E以及本车k时刻位置的所对应的圆心角；相对车道ΔL_h(k)＝L_E-L_h(k)，其中L_E,L_h(k)分别为出口位置E以及本车k时刻所在的车道；则k时刻，任务表征(TR)表示为式(5)，

S_TR(k)＝(Δl_h(k),ΔL_h(k))^T. (5)

然后，采用以上设计的环境表征和任务表征联合表征状态向量S。

2.如权利要求1所述的适用于环岛场景的无人驾驶控制方法，其特征在于，步骤三的回报函数设计中，依据为安全性回报r_s，任务性回报r_t，执行性回报r_e三个层面；k时刻安全性回报r_s(k)依据本车道L_h(k)的车辆和目标车道L_tar(k)＝L_h(k)+sign(T_y(k))的车辆与本车的距离，其中sign(T_y(k))为k时刻本车选择的左右换道动作；同时也包括在未来5S内将会换入这两个车道的车辆；当终端相对于本车道中心线的侧向偏移T_y(k)＝0时，本车进行车道保持动作，此时，只有本车前方P₄位置的车辆需要考虑；当终端相对于本车道中心线的侧向偏移T_y(k)＜0时，则需要考虑P₁,P₂,P₃,P₄四个位置的车辆；假设k时刻位置P_n处的与本车在车道方向的距离为d_n(k)，则此时刻安全性回报r_s(k)可以增量式的被计算为式(6)，

其中d_e为危险距离，d_c为碰撞距离；

k时刻任务性回报r_t(k)从以下三个方面来计算，第一方面为智能车对于出环岛驾驶任务的最终完成情况，增量式的计算为式(7)，

其中|Δl_h(k)|＝|(α_E-α_h(k))D_E|为本车距离出口E在车道上的纵向距离，α_E,α_h(k),D_E分别为出口位置E，k时刻本车相对于出口位置E的圆心角，以及出口位置E所在车道的直径。相对车道ΔL_h(k)＝L_E-L_h(k)，L_E,L_h(k)出口位置E以及k时刻本车所在的车道；

第二方面与智能车不同位置的决策相关，由于内侧车道具备更高的通行效率，因此车辆倾向于选择内侧的车道以更快的通过环岛，则k时刻期望的相对车道ΔL_exp(k)计算为式(8)，

其中α_E,α_lc分别为出口位置E以及完成一次换道操作需要的圆心角，为向下取整运算符号，相对车道ΔL_h(k)＝L_E-L_h(k)，L_E,L_h(k)出口位置E以及k时刻本车所在的车道；则k时刻另一部分任务性回报r_t(k)增量式的计算为式(9),

其中，ΔL_exp(k)k时刻期望的相对车道，T_y(k)为终端相对于本车道中心线的侧向偏移；同时，当车辆选择换道决策行为时，对目标车道L_tar(k)和本车道L_h(k)的前车和车流情况进行对比；假设需要对比的前方车辆为位置P₁,P₄，则需要对比的车流情况为位置为P₈,P₉，则回报计算为式(10a)、(10b)、(10c)和(10d)，

其中，v₁(k),v₄(k),TH₁(k),TH₄(k),d₁(k),d₄(k),分别为k时刻位置P₁,P₄车辆速度，距离本车的车头时距，纵向距离，k时刻位置P₈,P₉的车流的平均时距；

k时刻最后一部分任务性回报r_t(k)增量式的计算为式(11)，

r_t(t)＝r_t(t)+k₁r_t,1+k₂r_t,2+k₃r_t,3+k₄r_t,4 (11)

其中k₁,k₂,k₃,k₄分别为参数；

最后为k时刻执行性回报r_e(k)如式(12)，

其中，k₅,k₆分别为参数，L_T为环岛内的总车道数，L_h(k)k时刻本车车道，T_y(k)为终端相对于本车道中心线的侧向偏移；

最后，k时刻回报r(k)为式(13)，

r(t)＝r_s(t)+r_t(t)+r_e(t) (13)

其中，r_s(t),r_t(t),r_e(t)分别为k时刻安全性回报r_s(k)，任务性回报r_t(k)，执行性回报r_e(k)。