[发明专利]基于分层强化学习的并联式混合动力汽车能量管理方法

说明书

本发明公开了一种基于分层强化学习的并联式混合动力汽车能量管理方法，其特征在于，包括：S1：建立并联式汽车的仿真模型；S2：构建能量管理控制模型以及奖励函数；S3：构建分层强化学习算法的网络结构；S4：对分层强化学习算法进行训练更新；S5：基于汽车实际行驶中影响能量管理的参数以及训练后的分层强化学习算法，进行并联式混合动力汽车不同工况下的能量管理。本发明使得车辆更有效地寻找到燃油最低的探索方式，解决了强化学习智能体面对各个工况时出现reward稀疏的问题，同时提高了强化学习算法的收敛速度。

技术领域

本发明属于混合动力汽车控制技术领域，尤其涉及基于分层强化学习的并联式混合动力汽车能量管理方法。

背景技术

为节约资源，减轻环境污染，实现节能减排，混合动力汽车成为当今汽车工业发展的重要方向之一，作为混合动力汽车的关键控制技术，能量管理策略直接影响了汽车的燃油经济性，成为了混合动力系统的研究重点。

近年来，对混合动力汽车能量管理策略的研究，主要可分为两类。一类是基于规则的控制算法，如基于逻辑门限和模糊逻辑控制算法，基于规则的控制算法逻辑清晰、计算迅速，但优化效果有限。另一类是基于最优化理论的控制算法，有基于全局优化的动态规划算法和庞特里亚金极小值原理，也有基于实时优化的等效燃油消耗最小算法和模型预测控制算法等。全局优化算法优化虽然效果显著，但计算量较大，且需预知路况，难以写入混合动力控制器进行实车应用；实时优化算法能够在行车过程中进行实时计算，但优化效果仍有较大提升空间。

而随着强化学习的发展，应用强化学习进行能量管理控制也逐渐成为热门研究方向。例如CN108427985B、CN112026744A等均公开了强化学习在混合动力汽车能量管理中的应用，但是现有的强化学习智能体(agent)面对各个工况时，容易出现奖励值稀疏的问题。

发明内容

为解决现有的技术问题，本发明提供一种基于分层强化学习的并联式混合动力汽车能量管理方法，使得车辆更有效地寻找到燃油最低的探索方式，解决了强化学习智能体面对各个工况时出现reward稀疏的问题，同时提高了强化学习算法的收敛速度。

本发明中主要采用的技术方案为：

一种基于分层强化学习的并联式混合动力汽车能量管理方法，包括：

S1：建立并联式汽车的仿真模型；

S2：以车辆模型本身为环境，以发动机转速、发动机转矩和电池soc值为状态值，车辆发动机功率为执行动作构建能量管理控制模型以及奖励函数；

S3：根据能量管理控制模型以及奖励函数构建分层强化学习算法的网络结构，所述奖励函数包括内部奖励层和外部奖励层，外部奖励层将连续的工况离散化形成若干子目标，内部奖励层根据离散化后的子目标对奖励函数进行填充利用分层强化学习算法分配发动机和电池的需求功率，从而进行能量管理控制；

S4：对分层强化学习算法进行训练更新；

S5：基于汽车实际行驶中影响能量管理的参数以及训练后的分层强化学习算法，进行并联式混合动力汽车不同工况下的能量管理。

优选地，所述步骤S1中并联式汽车的仿真模型包括动力总成模型、发动机燃油消耗模型、电机模型、电池组模型和电池SOC计算模型；

其中，车辆行驶时受到车辆的驱动力F_f和行驶阻力，行驶阻力包括滚动阻力F_f，空气阻力F_w，坡度阻力F_i，和加速阻力F_j，所述动力总成模型具体如下：