[发明专利]一种自动驾驶控制方法、装置及电子设备

权利要求书

1.一种自动驾驶控制方法，其特征在于，包括如下步骤：

获取车辆驾驶数据以及车辆所处的环境信息；

将所述车辆驾驶数据以及车辆所处的环境信息输入至预先训练好的强化学习模型，得到用于控制车辆自动驾驶的控制数据；

所述预先训练好的强化学习模型包括预测网络和目标网络，所述预测网络和所述目标网络结构相同，所述目标网络的网络参数根据所述预测网络的网络参数确定，所述强化学习模型的训练过程包括：

将所述车辆驾驶数据以及所述车辆所处的环境信息输入至预测网络模型，得到车辆处于当前状态时的可执行动作以及执行所述动作的预期价值；

将所述车辆驾驶数据以及所述车辆所处的环境信息输入至目标网络模型，得到车辆处于当前状态时的可执行动作以及执行所述动作的目标预期价值；

根据执行所述动作的预期价值以及执行所述动作的目标预期价值，得到损失函数；

根据所述损失函数，更新所述预测网络的网络参数；

利用所述预测网络的更新后的网络参数对所述目标网络的网络参数进行更新；

所述动作的预期价值为：

Q(s,a)＝r_t+γr_t-1+γ²r_t-1+…γⁿr_t-n；

其中，r_t-n为第t-n次执行动作的奖励值，γ为折扣因子，Q(s,a)为车辆状态s时，执行动作a的预期价值；

目标预期价值根据以下公式得到：

Q^*(s,a)＝r_t+γmax_a′Q^*(s′,a′)；

其中，Q^*(s,a)为目标预期价值，r_t为第t次执行对应动作的奖励值，γ为折扣因子，max_a′Q^*(s′,a′)为下一步预测到的Q值；

损失函数由以下公式确定：

LOSS＝(Q^*(s,a)-Q(s,a))²＝(r_t+γmax_a′Q(s′,a′)-Q(s,a))²。

2.根据权利要求1所述的方法，其特征在于，还包括：将所述控制数据发送至车辆的自适应巡航控制系统。

3.根据权利要求1所述的方法，其特征在于，获取车辆驾驶数据以及车辆所处的环境信息之后，以及将所述车辆驾驶数据以及车辆所处的环境信息输入至预先训练好的强化学习模型之前，所述方法还包括：对所述车辆驾驶数据以及车辆所处的环境信息进行异常数据处理。