[发明专利]一种自动驾驶控制方法、装置及电子设备

说明书

本发明提供一种自动驾驶控制方法、装置及电子设备，其中，方法包括：获取车辆驾驶数据以及车辆所处的环境信息；将所述车辆驾驶数据以及车辆所处的环境信息输入至预先训练好的强化学习模型，得到用于控制车辆自动驾驶的控制数据。通过实施本发明，将车辆驾驶数据以及车辆所处的环境信息输入至预先训练好的强化学习模型，得到车辆的控制数据，该强化学习模型可以根据车辆驾驶数据以及车辆所处的环境信息，得到车辆自动驾驶控制数据，从而实现脱离人为因素，实现车辆驾驶自动化。

技术领域

本发明涉及智能驾驶领域，具体涉及一种自动驾驶控制方法、装置及电子设备。

背景技术

随着交通事业的发展，车辆驾驶越来越智能。相关技术中，一般在车辆上安装自适应巡航控制系统(Adaptive cruise control system，ACC)，自适应巡航控制系统是一种智能化的自动控制系统，接收用户的启用和设置指令，由车距传感器和车速传感器采集前方车辆和本车数据，通过一个统一的网络如控制局域网(Con-troller Area Network，CAN)等送往电子控制单元(Electronic Control Units，ECU)进行信息交互计算，并将结果反馈至汽车传动系统和制动系统完成对汽车的控制，以实现辅助驾驶，比如，用户设置当前为巡航跟车模式，那么若前车逐渐刹停，自车将跟随前车逐渐行驶到停，并保持两车安全车距。可见，自适应巡航控制系统仍然是需要人为参与，仍然实现的是辅助驾驶，难以做到脱离人为因素实现自动控制。

发明内容

有鉴于此，本发明实施例提供了一种自动驾驶控制方法、装置及电子设备，以解决现有技术中仍然实现的是辅助驾驶，难以做到脱离人为因素实现自动控制的缺陷。

根据第一方面，本发明实施例提供一种自动驾驶控制方法，包括如下步骤：获取车辆驾驶数据以及车辆所处的环境信息；将所述车辆驾驶数据以及车辆所处的环境信息输入至预先训练好的强化学习模型，得到用于控制车辆自动驾驶的控制数据。

可选地，所述预先训练好的强化学习模型包括预测网络和目标网络，所述预测网络和所述目标网络结构相同，所述目标网络的网络参数根据所述预测网络的网络参数确定，所述强化学习模型的训练过程包括：将所述车辆驾驶数据以及所述车辆所处的环境信息输入至预测网络模型，得到车辆处于当前状态时的可执行动作以及执行所述动作的预期价值；将所述车辆驾驶数据以及所述车辆所处的环境信息输入至目标网络模型，得到车辆处于当前状态时的可执行动作以及执行所述动作的目标预期价值；根据执行所述动作的预期价值以及执行所述动作的目标预期价值，得到损失函数；根据所述损失函数，更新所述预测网络的网络参数；利用所述预测网络的更新后的网络参数对所述目标网络的网络参数进行更新。

可选地，所述动作的预期价值为：

Q(s，a)＝r_t+γr_t-1+γ²r_t-2+…γⁿr_t-n；

其中，r_t-n为第t-n次执行动作的奖励值，γ为折扣因子，Q(s，a)为车辆状态s时，执行动作a的预期价值。

可选地，自动驾驶控制方法还包括：将所述控制数据发送至车辆的自适应巡航控制系统。

可选地，获取车辆驾驶数据以及车辆所处的环境信息之后，以及将所述车辆驾驶数据以及车辆所处的环境信息输入至预先训练好的强化学习模型之前，所述方法还包括：对所述车辆驾驶数据以及车辆所处的环境信息进行异常数据处理。

根据第二方面，本发明实施例提供一种自动驾驶控制装置，包括：信息采集模块，用于获取车辆驾驶数据以及车辆所处的环境信息；控制数据确定模块，用于将所述车辆驾驶数据以及车辆所处的环境信息输入至预先训练好的强化学习模型，得到用于控制车辆自动驾驶的控制数据。