[发明专利]一种基于策略迁移的燃料电池汽车深度强化学习能量管理方法

说明书

本发明公开了一种基于策略迁移的燃料电池汽车深度强化学习能量管理方法，属于燃料电池混合动力能量管理领域，所构建的策略迁移技术可以有效利用其他车型的车辆能量管理策略，提高迁移后代理模型的训练收敛速度和汽车燃油经济性。本发明方法主要包括：建立两种显著不同的燃料电池汽车模型；建立基于策略迁移的深度确定性策略梯度代理模型；针对一种车型，训练DDPG代理模型，获取训练后DDPG代理模型的网络策略；迁移策略至新的车型上，继续训练DDPG代理模型，利用最终训练完成的DDPG代理进行新车型的能量管理。

技术领域

本发明属于燃料电池混合动力能量管理领域，尤其涉及一种基于策略迁移的燃料电池汽车深度强化学习能量管理方法。

背景技术

随着化石燃料的消耗与CO₂排放总量快速上升，由于全球石油储量不断减少，环境污染问题和能源短缺问题日益严重，导致全球各地的排放规定日益严格，迫切需要生产更多的节能汽车。燃料电池汽车将燃料中的自由能量直接转化为电能，具有行驶里程长、充电周期短的优点。燃料电池混合动力汽车具有多种输入能量来源和工作模式的多样性的特点。因此，实现燃料电池混合动力汽车高效的能量管理至关重要。

混合动力车辆能量管理算法主要可以分为基于规则的策略、基于优化的策略和基于学习的策略三个大类。基于规则的策略计算量小，在工程实践中应用广泛，但其过于依赖工程师经验，且对不同驾驶工况和车型的可移植性差；基于优化的策略可分为全局优化和实时优化，前者不适合应用在实时控制的场景，后者仍依赖于未来工况信息等先验知识和参数的调节，且易于陷入局部最优。

目前深度强化学习在燃料电池能量管理方面是一种较有潜力的机器学习方法，然而现有技术中的方法存在一些缺点。这类能量管理策略研究基本集中于对某一特定车型的特定目标的案例研究，难以适应其它车型，同时所需训练时间较长，所以为了加速混合动力汽车能量管理策略的开发，提高训练效率，减少成本，能量管理策略的可移植性对车企具有重要意义。

发明内容

本发明提供了一种基于策略迁移的燃料电池汽车深度强化学习能量管理方法，通过策略迁移方法有效利用其他车型车辆的能量管理策略，加速车辆能量管理策略的开发速度，而且可以提升汽车燃油经济性和在不同工况下的泛化性能。

为了实现以上目的，本发明采用以下技术方案：

一种基于策略迁移的燃料电池汽车深度强化学习能量管理方法，包括以下步骤：

步骤1：模拟实际开发情况，建立两种显著不同的燃料电池汽车模型；

步骤2：建立基于策略迁移的DDPG代理模型，设置DDPG代理模型的状态、动作和奖励，得到设置后的DDPG代理模型；

步骤3：针对目标域车型，训练DDPG代理模型，获取训练后DDPG代理模型的网络策略；

步骤4：迁移源域车型策略至目标域车型上，继续训练DDPG代理模型，获取基于策略迁移的DDPG代理模型；

步骤5：利用步骤4得到的基于策略迁移的DDPG代理模型进行新车型的能量管理。

以上所述步骤中，步骤1中所述两种显著不同的燃料电池汽车模型分别为以燃料电池/电池/超级电容的物流卡车与以燃料电池/电池的b级轿车，前者作为源域，后者作为目标域，两个模型均包括汽车动力学模型、燃料电池、电机及电池，不同的是物流卡车模型多包含了超级电容。

所述汽车动力学模型如下公式所示：

其中，v为车辆的速度；f为滚动电阻系数；C_D为气动阻力系数；A为车辆前部区域；ρ为空气密度；a为物流车辆的加速度；α是道路的坡度；m是车辆质量；