[发明专利]一种能量路由优化方法

权利要求书

1.一种能量路由优化方法，其特征在于，包括：

获取能源互联网中由N个能量路由器互联形成的网络拓扑，以及每个能量路由器的状态信息历史数据集和设备参数；

根据所述能源互联网和能量路由器进行能量传递的机理构建能源互联网的强化学习环境，并根据所述网络拓扑构建由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；其中，所述强化学习Q网络、actor网络和critic网络均采用全连接的神经网络结构；

根据所述能源互联网中每个能量路由器的状态信息历史数据集和设备参数，以及每个能量路由器的可用供电容量、供电质量和可靠性、价格，以及新增负载到该能量路由器需要经过的路由数量、传输线路长度，构建供电能量路由器的评价Q函数，并对每两个能量路由器之间的能量传递，构建每一次能量传递的奖励R函数；其中，所述评价Q函数用于计算供电能量路由器的奖励值；所述奖励R函数用于计算执行每一次能量传递动作所获得的奖励值；

初始化图卷积神经网络、强化学习Q网络、actor网络和critic网络的参数θ_G、θ_Q、θ_a和θ_c；通过在随机能量路由器增加负载来模拟新增负载的情况，利用能源互联网中各能量路由器的状态信息历史数据集和设备参数作为输入样本，以及利用各能量路由器的评价Q函数、能量路由路径和奖励R函数作为输出样本，训练由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；

对于能源互联网中新增负载的用能需求，将能源互联网中各能量路由器的实时状态信息和设备参数，以及所述新增负载输入至所述深度强化学习模型中，得到最优的供电能量路由器和能量路由路径；所述最优的供电能量路由器为Q函数值最大的能量路由器，最优的能量路由路径由actor网络输出；

其中，所述评价Q函数为：

Q(n_load,n_source)＝-α₁l_line-α₂c_router+α₃r_source+α₄p_source+α₄q_sourceΔP；

其中，n_load表示新增负载所在的能量路由器，n_source表示为新增负载所在的能量路由器节点供电的能量路由器，ΔP表示新增负载，l_line表示n_load和n_source间的连接线路总长度，c_router表示n_load和n_source间的路由器个数，r_source表示n_source的供电可靠性，p_source表示n_source每单位能量的供电价格，q_source表示n_source的供电质量，α₁、α₂、α₃、α₄和α₅分别为5部分评价的系数，用于调节比重；

对于每两个能量路由器之间的能量传递，给定能量传递起始节点n_start、能量接收节点n_end以及要传递的负载ΔP，则对应的奖励R函数为：

R(n_start,n_end)＝-β₁L_line-β₂L_router-β₃ΔU；

其中，L_line表示能量传递过程中线路上的能量损失，L_router表示能量传递过程中能量路由器的能量损失，ΔU为传递过程带来的电压偏离的绝对值，β₁、β₂和β₃分别为3部分奖励的系数，用于调节比重；

其中，所述将能源互联网中各能量路由器的实时状态信息和设备参数，以及所述新增负载输入至所述深度强化学习模型中，得到最优的供电能量路由器和能量路由路径，包括：

将能源互联网中各能量路由器的实时状态信息和设备参数，以及所述新增负载输入至所述深度强化学习模型中，由图卷积神经网络对输入进行特征提取，得到各节点的特征F_j,j＝1,...N；

强化学习Q网络将所有节点的F_j为输入，得到以各节点为供点节点的评价值Q_j，并将评价值最大的节点选为供能节点n_source；

actor网络将F_j和n_source为输入，输出为下一步能量传递的路由a；

critic网络将F_j和n_source为输入，给出当前能源互联网状态的评价V(s)。