[发明专利]一种基于强化学习的电动汽车经济性自适应巡航控制方法及系统

说明书

本发明提供了一种基于强化学习的电动汽车经济性自适应巡航控制方法及系统，所述方法包括：建立跟驰系统的马尔科夫模型；根据强化学习中Actor‑Critic算法，设计自适应巡航控制器；根据自适应巡航控制器的速度控制信号，根据逆动力学模型转化为加速/减速踏板卡开度，控制车辆安全跟随前车。本发明能够实现安全、舒适、平稳的跟随前车，避免碰撞行为发生，自适应能力较好。与只考虑驾驶安全的控制策略相比，在相同驾驶周期内，电池荷电状态有所提高。

技术领域

本发明涉及电动汽车技术领域，涉及一种基于强化学习的电动汽车经济性自适应巡航控制方法及系统。

背景技术

自适应巡航控制系统是高级驾驶辅助系统的组成之一，是推动自动驾驶发展技术的重要环节。自适应巡航控制系统能够通过车载雷达、车车通信技术，捕获当前车辆的速度和与前方车辆的信息，并根据当前的道路环境信息，实时自适应的改变车辆的加速度，从而实现安全平稳的跟随前车。同时，电动汽车由于其环境友好，得到了快速发展，将成为未来汽车主流发展趋势。但是，一方面，人类对汽车的要求不再局限于安全性和快速性，舒适性和智能化是人类追求的更高要求，在驾驶时能够实时监测跟驰环境状态，并给予警示和动作，减轻驾驶员负担；另一方面，电动汽车锂离子电池由于不断循环充放电，电池寿命得到不可逆的损失，严重影响了电动汽车的续航能力。

发明内容

针对上述技术问题，本发明提供一种基于强化学习的经济性自适应巡航控制方法及系统。本发明能够实现安全、舒适、平稳的跟随前车，没有碰撞行为，自适应能力较好。

本发明解决上述技术问题的技术方案是：一种基于强化学习的电动汽车经济性自适应巡航控制方法，包括以下步骤：

步骤S₁，对数据集NGSIM进行数据处理，提取跟车行程片段，对数据集中的主车速度、加速度、前车速度、相对距离归一化处理；

步骤S₂，建立电动汽车纵向动力学模型和锂离子电池功率模型，计算行车过程中动力学参数和荷电状态的变化量；

步骤S₃，构建车辆自适应巡航过程为马尔科夫决策过程，定义状态、动作，构建安全、能耗和舒适度结合的奖励函数；

步骤S₄，构建强化学习DDPG算法环境配置，采用70％NGSIM数据集和电池荷电状态，训练自适应巡航控制DDPG控制器；采用30％数据进行测试；

步骤S₅，将训练好的DDPG控制器用于车辆自适应巡航系统仿真，得到理想加速度；定期对DDPG神经网络参数训练更新；

步骤S₆，构建PID自适应巡航控制系统执行器，通过逆动力学模型，得到理想加速度的对应驱动/制动力矩。

一种基于强化学习的电动汽车经济性自适应巡航控制系统，包括：

信息感知模块：用于实时采集自适应巡航系统中主车和前车的速度、加速度、相对车距和锂离子电池荷电状态信息，并传输到强化学习训练模块和自适应巡航控制模块；

强化学习训练模块：用于构建自适应巡航控制问题的马尔科夫过程问题，搭建强化DDPG算法的环境配置，根据数据信息训练DDPG两个神经网络参数，根据历史数据不断试错学习得到最优的动作，实现安全、经济、舒适地车辆驾驶；

自适应巡航控制模块：用于将训练好的强化学习DDPG神经网络作为自适应巡航控制器，输出控制量即主车加速度到驱动/制动执行模块；

驱动/制动执行模块：用于根据自适应巡航控制模块层输出的最优加速度，通过逆动力学模型，利用PID控制算法得到对应的理想驱动/制动力矩。