[发明专利]适用于无人驾驶的嵌入优化式控制方法及其驾驶控制模块和自动驾驶控制系统

权利要求书

1.适用于无人驾驶的嵌入优化式控制方法，其特征在于，包括以下步骤，

步骤一、驾驶决策问题建立及驾驶策略的表征；

基于强化学习方法，将驾驶决策建模为马尔科夫决策过程；基于马尔科夫决策过程的驾驶决策包含表征本车与周车相对状态的状态向量S；以及基于参数化驾驶决策框架，表征本车的驾驶决策的动作向量A；动作向量A包含离散的决策变量，终端相对于本车道中心线的侧向偏移T_y，指向车道保持、左换道、右换道等驾驶行为，以及连续的决策变量，期望加速度a_tar，动作时间t_a；通过动作向量A＝(T_y,a_tar,t_a)^T表征驾驶决策，并作为输入变量输入下层的轨迹规划层和车辆控制层；车辆控制系统执行驾驶决策后，根据设计的回报函数得到回报信号，作为训练数据；最终通过强化学习算法对驾驶策略进行学习更新；

步骤二、神经网络经验模型建立；

首先，不同连续决策量下轨迹数据的收集:

轨迹规划模块可执行的连续决策量的取值通常在预设范围内；

其次，轨迹特征点提取以及训练数据生成；

在得到的轨迹数据集中，对数据集中的每个轨迹使用若干轨迹特征点表示，这些轨迹特征点分别为纵向参数l_x，侧向参数序列l_y,1,l_y,2,...,l_y,5，时间参数序列l_t,1,l_t,2,...,l_t,5；

纵向参数l_x可以表示为式(1)，

其中s_x为纵向位移，v_h,0为初始速度，t_a为动作时间。纵向参数l_x主要受期望加速度a_tar影响。

在侧向运动中，提取了五个轨迹特征点，计算他们的侧向参数和对应的时间参数组成侧向参数序列l_y,1,l_y,2,...,l_y,5，和时间参数序列l_t,1,l_t,2,...,l_t,5。这些轨迹特征点的纵向位移分别为1/8l_x,1/4l_x,1/2l_x,3/4l_x,7/8l_x。相应地，第i个侧向参数l_y,i和时间参数l_t,i可以表示为式(2)和式(3)，

其中s_y,i,t_i分别为第i个轨迹特征点的侧向位移和时间。L为相邻车道侧向位移，t_a为动作时间；

最后，神经网络经验模型训练；

使用当前初始速度v_h,0，期望加速度a_tar，动作时间t_a作为输入向量，得到的轨迹特征点分别为纵向参数l_x，侧向参数序列l_y,1,l_y,2,...,l_y,5，时间参数序列l_t,1,l_t,2,...,l_t,5作为数据集，分别训练三个神经网络；

步骤三、连续驾驶决策变量求解；

智能体强化学习Actor-Critic框架的Actor动作网络根据状态变量S输出决策变量A＝(T_y,a_tar,t_a)^T，将期望加速度a_tar，动作时间t_a作为初始值输入到基于模型设计的直接搜索算法中，通过训练得到的神经网络根据决策变量模拟本车轨迹的变化，结合周车意图行为及轨迹的预测,最终通过优化求解得到使得性能指标函数最小的连续驾驶决策变量期望加速度a_tar，动作时间；

步骤四、离散驾驶决策变量学习；

将以上步骤三所述的连续驾驶决策变量的求解方法嵌入强化学习Actor-Critic框架的Actor中。Actor包含步骤一和步骤二的结果，以及步骤三所述的各个步骤，然后进入步骤四开始学习；该学习过程针对离散驾驶决策变量终端相对于本车道中心线的侧向偏移T_y。智能体从环境中读取当前状态向量S，输入到Actor，最终得到动作向量；输入到Critic网络，得到状态值函数的估计值；执行动作得到回报；计算优势函数对Actor和Critic网络进行更新调整。