[发明专利]基于模型强化学习的混合动力汽车自适应能量管理框架

权利要求书

1.基于模型强化学习的混合动力汽车自适应能量管理框架，其特征在于：

该自适应能量管理框架包括一个前馈控制器和一个反馈控制器；

通过无模型强化学习算法离线训练得到前馈控制器；利用模型强化学习算法，在线更新反馈控制器的参数；

车辆模型和行驶工况构成环境，向控制器输入车辆每一时刻的状态，然后通过由前馈控制器输出的动作P和反馈控制器输出的动作ΔP共同作用于环境；

自适应能量管理框架的总输出动作为发动机功率，表示为u_t＝π(x_t，ψ)+π′(x_t，θ)；

其中，x_t表示状态变量，包括当前t时刻车辆的速度、加速度和电池SOC，ψ表示前馈控制器的参数，θ表示反馈控制器的参数。

2.根据权利要求1所述的基于模型强化学习的混合动力汽车自适应能量管理框架，其特征在于；

前馈控制器根据当前输入的状态变量输出前馈控制量；前馈控制器表示为π(x_t，ψ)，其通过无模型深度强化学习算法进行训练，原理是学习到一个最优策略π^*，使返回的奖励最大化。

3.根据权利要求1所述的基于模型强化学习的混合动力汽车自适应能量管理框架，其特征在于：

在前馈控制器的基础上，采用反馈控制器作为电池SOC调节器，来维持电池荷电状态在目标水平；

反馈控制器表示为π′(x_t，θ)，其通过模型强化学习算法在线训练，实时更新控制参数θ。

4.根据权利要求1所述的基于模型强化学习的混合动力汽车自适应能量管理框架，其特征在于：

反馈控制器实时更新参数使用的算法，为具有高效数据利用率的模型强化学习PILCO算法；由于前馈控制器的参数ψ已经离线训练确定，PILCO算法的求解目标是实时更新反馈控制器参数θ，以使完成一次工况的预期成本最小化，预期成本可表示为其中c(x_t)是状态变量x_t的成本函数，包括瞬时燃油消耗量和偏离预设参考SOC的惩罚。

5.根据权利要求1所述的基于模型强化学习的混合动力汽车自适应能量管理框架，其特征在于：

模型强化学习PILCO算法的求解流程为：

S1：初始化反馈控制器π′(x_t，θ)的参数

S2：对混合动力汽车应用完整的控制u_t＝π(x_t，ψ)+π′(x_t，θ)，记录数据{x_t，u_t}并获得前馈控制其中t＝1，…，T；

S3：重复进行如下步骤；

S3.1：使用记录的数据和高斯过程学习概率动力学模型f(x_t，u_t)；

S3.2：重复进行如下步骤：

S3.2.1：使用进行近似完整控制；

S3.2.2：模拟策略推出以获得状态概率分布p(x₁)，p(x₂)，…，p(x_T)；

S3.2.3：计算预期的长期成本J(θ)；

S3.2.4：通过计算成本函数的梯度dJ(θ)/dθ更新参数θ；

S3.3：直到收敛，返回最优参数θ^*；

S3.4：对混合动力汽车应用完整的控制u_t＝π(x_t，ψ)+π′(x_t，θ^*)，记录数据{x_t，u_t}并获得新的前馈控制

S4：直到达成目标。