[发明专利]一种基于深度强化学习的插电式混合动力车辆能量管理方法

说明书

本发明提供了一种基于深度强化学习的插电式混合动力车辆能量管理方法，其对多源高维行驶工况信息进行了表征提取，并处理为低维表征向量；利用冗余信息剔除算法，对所得低维表征向量、车辆自身状态信息、坡度等工况状态表征进行降维、融合处理，得到低维连续工况信息；构建基于深度强化学习的插电式混合动力车辆能量管理框架，输入低维连续工况信息，完成离线训练；利用训练好的策略控制能量分配，为综合考虑了多源高维行驶工况信息对插电式混合动力车辆能量管理效果的影响提供了途径，并可利用强化学习自主学习最优能量分配方案，挖掘其节能潜力。

技术领域

本发明涉及一种插电式混合动力车辆能量管理方法，尤其涉及一种基于深度强化学习的插电式混合动力车辆能量管理方法。

背景技术

目前，基于优化的插电式混合动力车辆能量管理方法主要包括以动态规划为代表的全局优化方法，和以等效燃油消耗最小策略和模型预测控制等为代表的实时优化方法，在求解这些优化方法时，大多需对不同工况状态参数进行网格划分的离散化处理后，再作为控制系统的状态输入，且常会通过增加网格密度或状态的数量来挖掘最优性能，但这将使得优化算法的计算量呈指数倍增长，引发维数灾变，导致无法求解，所以很难综合考虑实际行驶环境与交通条件(如前方车辆行人、交通信号灯、车辆附近交通流状态等)以及车辆自身状态参数(如车速、加速度、动力电池荷电状态等)，而这些工况信息都会对能量管理效果产生重要影响。另一方面，这些行驶工况信息在连续性、离散性、随机性等方面特征不一，所形成的信息系统是一种多源、高维的信息系统，传统优化方法也难以挖掘出其与能量管理效果之间的潜在关系。因此，如何在车辆的能量管理策略中结合上述工况信息，使得控制系统具有处理多源高维状态信息的能力，是本领域中亟待解决的问题。

发明内容

针对上述本领域中存在的技术问题，本发明提供了一种插电式混合动力车辆能量管理方法，具体包括以下步骤：

步骤1、利用深层卷积神经网络(CNN)以及长短期记忆神经网络(LSTM)分别对车载视觉信息和交通状态信息进行表征提取，获知PHEV前方车辆、行人、交通灯等车载视觉信息对未来工况及能量管理效果的影响机理，并挖掘PHEV附近交通流状态对车辆未来工况的影响机制。

步骤2、对所述步骤1中所提取的所述车载视觉信息和交通状态信息，以及车辆自身状态信息、坡度信息等工况状态表征进行降维、融合处理，得到低维连续型工况状态。

步骤3、将所述步骤2中得到的所述低维连续型工况状态作为输入量，利用深层神经网络构建动作价值函数，建立所述车辆的工况状态与控制动作价值的非线性映射关系，挖掘多源高维工况信息对能量管理效果的作用机理。

步骤4、基于所述步骤(3)中构建的所述动作价值函数，确定能量管理中的状态变量、动作变量、反馈奖励、策略等基本要素，建立基于深度强化学习的插电式混合动力车辆能量管理模型。

步骤5、对所述步骤4中建立的所述能量管理模型进行训练。

步骤6、将训练好策略用于PHEV能量管理。

进一步地，所述步骤1所述的利用深层卷积神经网络对车载视觉信息进行表征提取，具体包括以下步骤：

基于深层卷积神经网络充分利用图像自身特性的局部连接与权值共享特点，在其层间使用额外短连接，优化网络结构，构建深层卷积残差网络，以解决深层网络梯度弥散的问题，为深层卷积神经网络的训练做准备：

其中in[m，n]表示二维卷积运算的输入；f[m，n]表示卷积核；out[m，n]表示二维卷积运算的输出；h^k表示卷积神经网络中某一层第k个特征图谱；W^k表示卷积核权重；b_k表示偏置权重，并采用PRELU神经元激活函数。