[发明专利]一种混合动力汽车能量管理策略的加速学习方法

说明书

本发明涉及一种混合动力汽车能量管理策略的加速学习方法，主要应用于基于深度强化学习的能量管理策略开发。通过不同混合动力汽车的驾驶工况信息，基于深度神经网络结构创建Actor网络和Critic网络，使用DDPG算法对源域的驾驶工况数据进行训练，以获得迁移学习所需要的内部表征；用获得的来自源域的内部表征初始化用来训练目标域的Actor网络和Critic网络，随机初始化训练目标域的Actor、Critic网络中的其他参数，并用少量的驾驶工况数据微调目标域的内部表征；目标域混合动力汽车执行训练完成的能量管理策略。本法发明具有共性的原则利用起来，节省了重新训练参数的时间，缩短了目标域混合动力汽车能量管理策略的训练周期，也有利于提高混合动力汽车的燃油经济性。

技术领域

本发明涉及一种混合动力汽车能量管理策略的加速学习方法，主要应用于基于深度强化学习的能量管理策略开发。

背景技术

由于混合动力汽车动力系统结构的灵活性和多向性，能够快速开发不同类型混合动力汽车的高效能量管理策略的需求有所增长。能量管理策略的目的是在运行期间尽可能地减少燃料消耗并维持电池在保存电量的状态。当前，强化学习可以作为混合动力汽车能量管理策略的解决方案。然而现有的能量管理策略研究只限于特定车型，例如针对功率分流型混合动力汽车的能量管理策略无法适用于串联型的混合动力汽车。因此，这无意中加重了汽车标定工程师的工作量。同时，深度强化学习算法受限于智能体和环境之间的长时间的纠错实验，此外根据不同的任务选择不同的超参数设置变量也很复杂。而迁移学习可以利用不同任务间的关联，将过去的任务延伸到新的领域。基于迁移学习的这个特点，为了提高在相似任务间的训练效率，迁移学习和深度强化学习的结合成为一种可能的方案。

发明内容

针对上述本领域中存在的技术问题，本发明在在深度强化学习算法的基础上发明了把基于深度强化学习的能量管理策略与迁移学习相结合的框架。

本发明采用如下技术方案：

本发明所述的混合动力汽车能量管理策略的加速学习方法，学习步骤如下：

步骤一、收集不同混合动力汽车的驾驶工况信息，驾驶工况信息分为：通常使用的标准驾驶工况，历史记录的驾驶工况；确定目标域和源域；

步骤二、基于深度神经网络结构创建Actor网络和Critic网络，为Actor 网络和Critic网络各自创建一个目标网络，并构建了HEV能量管理策略的训练网络；

步骤三、使用DDPG算法对源域的驾驶工况数据进行训练，以获得迁移学习所需要的内部表征；

步骤四、用步骤三获得的来自源域的内部表征初始化用来训练目标域的 Actor网络和Critic网络，从而加快对目标域混合动力汽车的能量管理策略的训练；

步骤五、随机初始化训练目标域的Actor、Critic网络中的其他参数，并用少量的驾驶工况数据微调目标域的内部表征；

步骤六、目标域混合动力汽车执行训练完成的能量管理策略。

本发明所述的混合动力汽车能量管理策略的加速学习方法，所述的步骤二中使用惯性导航系统和全球定位系统获得混合动力汽车的速度与加速度信息；并根据下列等式求得混合动力汽车在任意时刻的SoC(t)：

其中SoC(t)是荷电状态，V_oc是开路电压，R₀是内阻，P_batt是在充放电阶段的输出能量，Q₀是电池的初始容量，Q是标称电池容量，I(t)是电池在t时刻的电荷量；

通过汽车速度及加速度，定义状态集和行为集如下：

其中v是混合动力汽车的速度，acc是混合动力汽车的加速度，T_eng是引擎的扭矩，W_eng是引擎的速度，T_mot是发动机的扭矩；

再定义奖励函数如下：

reward＝-{α[fuel(t)+elec(t)]+β[SoC_ref-SoC(t)]ⁿ}