[发明专利]一种基于强化学习的电动汽车经济性自适应巡航控制方法及系统

权利要求书

1.一种基于强化学习的电动汽车经济性自适应巡航控制方法，其特征在于，包括以下步骤：

步骤S₁，对数据集NGSIM进行数据处理，提取跟车行程片段，对数据集中的主车速度、加速度、前车速度、相对距离归一化处理；

步骤S₂，建立电动汽车纵向动力学模型和锂离子电池功率模型，计算行车过程中动力学参数和荷电状态的变化量；

步骤S₃，构建车辆自适应巡航过程为马尔科夫决策过程，定义状态、动作，构建安全、能耗和舒适度结合的奖励函数；

步骤S₄，构建强化学习DDPG算法环境配置，采用70％NGSIM数据集和电池荷电状态，训练自适应巡航控制DDPG控制器；采用30％数据进行测试；

步骤S₅，将训练好的DDPG控制器用于车辆自适应巡航系统仿真，得到理想加速度；定期对DDPG神经网络参数训练更新；

步骤S₆，构建PID自适应巡航控制系统执行器，通过逆动力学模型，得到理想加速度的对应驱动/制动力矩。

2.根据权利要求1所述的基于强化学习的电动汽车经济性自适应巡航控制方法，其特征在于，步骤S₂电动汽车纵向动力学模型中的最小安全距离为：

上式中V_x、V_y分别表示本车、前车的速度，a_x、a_y分别表示本车、前车的最大减速度，t₀表示驾驶员反应时间，d₀表示静止时刻的距离。

3.根据权利要求1所述的基于强化学习的电动汽车经济性自适应巡航控制方法，其特征在于，步骤S₂中电动汽车锂离子电池荷电状态变化率为：

上式中i_batt表示电池电流，Q_batt表示电池容量，V_oc表示开路电压，R_int表示电池内阻。

4.根据权利要求1所述的基于强化学习的电动汽车经济性自适应巡航控制方法，其特征在于，步骤S₃中的奖励函数为：

R＝w₁R_headway+w₂R_soft+w₃R_SoC

w₁+w₂+w₃＝1

其中，安全奖励函数为：

舒适度奖励函数为：

能耗奖励函数为：

R_SoC＝-ΔSoC

上式中w₁、w₂、w₃分别表示安全奖励函数、舒适度奖励函数、能耗奖励函数的权重。

5.根据权利要求1所述的基于强化学习的电动汽车经济性自适应巡航控制方法，其特征在于，步骤S₆中PID控制算法公式为：上式中u(t)表示控制输出，e(t)表示控制误差，K_p、K_i、K_d分别表示积分、微分、差分系数。

6.一种基于强化学习的电动汽车经济性y适应巡航控制系统，其特征在于，包括：

信息感知模块：用于实时采集自适应巡航系统中主车和前车的速度、加速度、相对车距和锂离子电池荷电状态信息，并传输到强化学习训练模块和自适应巡航控制模块；

强化学习训练模块：用于构建自适应巡航控制问题的马尔科夫过程问题，搭建强化DDPG算法的环境配置，根据数据信息训练DDPG两个神经网络参数，根据历史数据不断试错学习得到最优的动作，实现安全、经济、舒适地车辆驾驶；

自适应巡航控制模块：用于将训练好的强化学习DDPG神经网络作为自适应巡航控制器，输出控制量即主车加速度到驱动/制动执行模块；

驱动/制动执行模块：用于根据自适应巡航控制模块层输出的最优加速度，通过逆动力学模型，利用PID控制算法得到对应的理想驱动/制动力矩。