[发明专利]一种基于TD3算法的燃料电池汽车能量管理方法

权利要求书

1.一种基于TD3算法的燃料电池汽车能量管理方法，其特征在于，该方法包括以下步骤：

S1：获取燃料电池汽车的车辆状态信息、动力电池状态信息以及燃料电池状态信息；

S2：建立燃料电池汽车能量管理系统模型，包括：整车纵向动力学模型、燃料电池氢耗模型、动力电池等效电路模型、燃料电池衰退模型、动力电池老化模型；

建立的整车纵向动力学模型为：

其中，P_drive为驱动功率，P_m为需求功率，P_bat为动力电池功率，P_fc为燃料电池功率，m_v为车辆的重量，v为速度，a为加速度，F_aero为空气阻力，F_roll为滚动摩擦，F_grade为坡度阻力，η_motor为电机效率，η_DC/DC为DC/DC转换器的效率，η_DC/AC为DC/AC转换器的效率；

建立的燃料电池衰退模型为：

其中，k₁为燃料电池输出功率等于或大于80％额定功率时的电压退化率，k₂为燃料电池输出功率小于20％时的电压退化率，k₃为瞬时负载变化时每千瓦的电压退化率，P_high和P_low分别为燃料电池的高功率和低功率阈值，ΔP为每采样时间功率的变化，t₁为工作点等于或大于80％额定功率的次数，t₂为工作点的输出功率小于20％的次数；

建立的动力电池老化模型为：

Q_aging＝(αSOC+β)·exp((-E_a+η·C_rate)/R_gas·T_K)Ah^z

其中，Q_aging为电池的容量衰减，α,β为拟合系数，E_a为活化能，C_rate为电流充放电速率，η为C_rate的补偿系数，R_gas为气体常数，T_K为测试电池时的环境温度，Ah为安时通量，z为幂系数，Q_aging,k+1为k+1时刻电池的容量衰减，Q_aging,k为k时刻电池的容量衰减，ΔAh为k时刻到k+1时刻的安时通量的变化；Ah_eff为有效安时通量，σ为严重程度因子，I_bat为锂离子电池电流；

S3：利用TD3算法构建燃料电池汽车能量管理策略，求解包含能耗经济性、燃料电池寿命以及动力电池寿命的多目标优化问题；所述TD3算法是双延迟深度确定性策略梯度算法。

2.根据权利要求1所述的燃料电池汽车能量管理方法，其特征在于，步骤S1中，所述车辆状态信息包括：车辆的速度、电机转速、电机效率以及传动系统；所述动力电池状态信息包括：电池电流、电压、内阻以及SOC；所述燃料电池状态信息包括：燃料电池的功率、效率以及氢耗。

3.根据权利要求1所述的燃料电池汽车能量管理方法，其特征在于，步骤S2中，建立的燃料电池氢耗模型为：

其中，为氢耗量，为氢的低热值，η_fc为燃料电池效率，P_fc为燃料电池功率。

4.根据权利要求1所述的燃料电池汽车能量管理方法，其特征在于，步骤S2中，建立的动力电池等效电路模型为：

其中，I_bat为锂离子电池电流，V_oc为锂离子电池开路电压，R_bat为锂离子电池内阻，P_bat为电池功率，SOC(k+1)为下一时刻电池的荷电状态，SOC(k)为当前时刻电池的荷电状态，Δt为离散时间间隔，Q_bat为锂离子电池容量。

5.根据权利要求1～4中任意一项所述的燃料电池汽车能量管理方法，其特征在于，所述步骤S3具体包括以下步骤：

S31：状态变量空间为包含燃料电池功率P_fc、车辆的转速w、电池的荷电状态SOC以及电池安时通量Ah的集合，表示为：

S＝{P_fc,w,SOC,Ah}

S32：在TD3算法中，智能体将当前状态S作为演员网络的输入，并输出一个确定的动作；通过在确定动作的基础上增加噪声来选择最终动作；动作集A＝{P_fc}；

S33：在智能体采取动作后，获得相应的奖励,奖励函数R定义为：

其中，α,β,λ,ω为权重系数；D_FC为燃料电池衰退容量，Ah_eff为有效安时通量；

S34：智能体在采取动作后，获得相应的奖励并且进入下一时刻状态S′，并在经验池中储存经验样本{S,A,R,S′}；在经验样本数超过经验池容量时，新的采样经验会覆盖旧的经验；

S35：从经验池中随机抽取小批量经验样本，目标演员网络根据状态S′输出下一时刻动作A′；对动作A′施加随机噪声，即：

A'＝π_φ′(S')+∈

其中，π_φ′为目标演员网络，∈为随机噪声；

S36：使用一对独立的评论家网络估计动作值函数；下一时刻的状态与动作作为目标评论家网络的输入，选择两个网络中输出的最小Q值计算目标值y；评论家网络目标值计算公式为：

其中，γ为折扣因子，为目标评论家网络输出的Q值；然后，利用平方差损失函数更新评论家网络；

S37：更新策略网络时，使用评论家网络进行更新；使用梯度上升法对策略网络进行更新，更新公式为：

其中，为在状态S下，遵从策略π，做出动作所得到奖励的期望；为演员网络梯度，为评论家网络梯度；

S38：当评论家网络估值不准确的时候，演员网络根据不准确的估值往错误的方向进行更新。