[发明专利]基于模型强化学习的混合动力汽车自适应能量管理框架

说明书

本发明公开了基于模型强化学习的混合动力汽车自适应能量管理框架；所述自适应能量管理框架包括一个前馈控制器和一个反馈控制器，前者是基于无模型强化学习算法离线训练获得的深度神经网络控制器，而后者是基于模型强化学习算法在线学习获得，它的参数可以根据最新的驾驶数据定期更新。本发明解决了现有基于无模型强化学习算法控制框架训练时间长、数据利用率低的问题，可以实现在线高效更新反馈控制器，提高了混合动力汽车能量管理控制框架的适应性，能够在多种新的道路工况下保证燃油经济性并较好地维持动力电池荷电状态。

技术领域

本发明涉及混合动力汽车能量管理领域，尤其涉及基于模型强化学习的混合动力汽车自适应能量管理框架。

背景技术

由于动力电池和燃料电池的技术瓶颈，混合动力汽车(HEV)在缓解日益严峻的环境污染和能源困境方面具有重要作用。混合动力汽车包含两个或两个以上的动力源，根据动力系统结构的不同，一般可分为串联式、并联式和功率分流式混合动力汽车。为了达到节能减排的目的，在多个动力源之间合理分配动力是至关重要的。混合动力汽车的能量管理策略是协调发动机和电池之间的功率分配，目的是最大限度地减少燃料消耗和保持电池的荷电状态(SOC)。近些年来，相关研究人员已经提出了基于规则、基于优化和基于学习的三类能量管理策略(EMS)。基于规则的EMS由于其简单性、高可靠性和实时性，已被广泛用于商用HEV；然而，基于规则的EMS过于依赖专家经验和驾驶条件，限制了它们的优化性和对随机环境的适应性。基于优化的EMS主要包括全局优化的EMS和瞬时优化的EMS，但是基于全局优化的EMS由于算法计算负担大，难以实时在线应用；基于瞬时优化的EMS存在难以保证最优性的不足。近年来，无模型强化学习算法广泛应用于求解EMS；然而，无模型强化学习算法训练时间长、数据利用率低，同时难以实时更新、适应性低，在面对新的驾驶工况时不能很好地保证动力电池荷电状态的稳定。模型强化学习算法遇到的最大挑战是通过数据学习的模型存在模型误差，尤其是在刚开始训练、数据量很少的情况下，所学到的模型不准确；PILCO算法把模型误差纳入考虑范围，一般只需要训练几次到几十次便可以成功实现对单摆等典型非线性系统的稳定性控制，而对于相同的系统，无模型强化学习算法大多需要训练上千次。

发明内容

本发明的目的在于克服上述现有技术的缺点和不足，提供基于模型强化学习的混合动力汽车自适应能量管理框架。

本发明通过下述技术方案实现：

基于模型强化学习的混合动力汽车自适应能量管理框架，包括以下内容：

建立一个新型自适应能量管理框架，该框架由一个前馈控制器和一个反馈控制器构成，通过无模型强化学习算法离线训练得到前馈控制器，以保证能量管理控制策略的燃油经济性；利用具有高效数据利用率的模型强化学习算法在线更新反馈控制器的参数，以提高适应性。车辆模型和行驶工况构成环境，向控制器输入车辆每一时刻的状态，然后通过由前馈控制器输出的动作P和反馈控制器输出的动作ΔP共同作用于环境。自适应控制框架的总输出为发动机功率，可表示为u_t＝π(x_t，ψ)+π′(x_t，θ)；其中，x_t表示状态变量，包括当前t时刻车辆的速度、加速度和电池SOC，ψ表示前馈控制器的参数，θ表示反馈控制器的参数。

对于前馈控制器，根据当前输入的状态变量输出前馈控制量，以保证基本的车辆行为和燃油经济性。前馈控制器表示为π(x_t，ψ)，其通过典型的深度强化学习算法(包括但不限于DQN、DDPG、PPO、TD3、A3C和SAC)进行训练，其基本原理是学习到一个最优策略π^*，使返回的奖励最大化。

在前馈控制序列的基础上，采用反馈控制器作为电池SOC调节器，来维持电池荷电状态在目标水平。反馈控制器表示为π′(x_t，θ)，其通过模型强化学习算法在线训练，实时更新控制参数θ。