[发明专利]自动驾驶车辆T型紧急避撞控制方法、系统、介质及设备

权利要求书

1.一种自动驾驶车辆T型紧急避撞控制方法，其特征在于，包括：

根据预先设置的车辆模型、奖励函数和初始状态，计算基于规则的最优控制问题的控制输入量；

满足第一设定条件时，基于控制输入量对强化学习的网络参数进行更新，直到满足第二设定条件；

满足第二设定条件时，基于TD3的Actor-Critic框架对强化学习的网络参数进行更新，直到满足第三设定条件，并输出最优控制量；

所述奖励函数的设置，包括：由第一种奖励与第二种奖励叠加后构成；

所述第一种奖励是在避撞过程中每个决策后给予的即时奖励；

所述第二种奖励是在每个训练回合结束后，基于自车不同的状态模式给予的终止状态奖励；所述自车不同的状态模式包括发生碰撞、完成避撞以及避撞过程中发生侧翻；

所述计算基于规则的最优控制问题的控制输入量，包括：

所述基于规则的最优控制问题为自车首先全力制动，在设定时间之后全力进行转向使车辆最大程度进行横摆运动；

所述控制输入量由当前轮胎的横向力和纵向力构成；

所述基于规则的最优控制问题的目标函数设置为终止状态奖励；

所述第一设定条件为：episode≤i_control；

所述第二设定条件为：episodei_control；

所述第三设定条件为：episode＝i_max；

episode为当前训练的序列次数，i_control为学习最优控制的序列次数；i_max为设定的最大训练回合次数。

2.如权利要求1所述控制方法，其特征在于，还包括：预先设置基于自动驾驶车辆T型避撞的马尔可夫决策模型中的状态空间和动作空间；

所述状态空间包含自动驾驶车辆T型紧急避撞所需的全部信息，包括自车状态信息以及周围环境信息；

所述动作空间包括自车的前轮转向角、自车左后轮和右后轮的纵向滑移率。

3.如权利要求1所述控制方法，其特征在于，所述基于控制输入量对强化学习的网络参数进行更新，包括：

基于控制输入量得到新的测量值和当前奖励值，由原测量值、控制输入量、新的测量值和当前奖励值构成状态转移四元素，并存于经验池；

在经验池内进行随机采样，计算TD3的Actor-Critic框架中两个评价网络的目标值，并取最小值；

通过最小化损失函数更新评价网络参数；

通过最小化最优控制输入量和动作网络控制量的差异更新动作网络，然后更新目标评价网络和目标动作网络。

4.如权利要求1所述控制方法，其特征在于，所述基于TD3的Actor-Critic框架对强化学习的网络参数进行更新，包括：

选择控制输入量，根据控制输入量得到新的测量值和当前奖励值，将由原测量值、控制输入量、新的测量值和当前奖励值构成状态转移四元素，并存于经验池；

在经验池内随机采样，计算TD3的Actor-Critic框架中两个评价网络的目标值，并取最小值；

通过最小化损失函数更新评价网络参数：

通过策略梯度方法更新动作网络，然后更新目标评价网络和目标动作网络。