[发明专利]一种能量路由优化方法

说明书

本申请实施例公开了一种能量路由优化方法，包括：获取能源互联网中由N个能量路由器互联形成的网络结构，以及每个能量路由器的状态信息历史数据集和设备参数；并根据网络结构构建并训练由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；将能源互联网中各能量路由器的实时状态信息和设备参数，以及能源互联网中的新增负载输入至深度强化学习模型中，得到最优的供电能量路由器和能量路由路径。通过图卷积神经网络和深度强化学习相结合的方式对能源互联网中多能量路由器之间的能量传递过程进行学习，使得可利用能量路由器的实时数据对能量传输线路进行快速、准确的优化，减少能量传输的损失，提高了供电的效率和可靠性。

技术领域

本申请涉及人工智能技术领域，具体涉及一种能量路由优化方法。

背景技术

能源互联网因其对光伏、风电等分布式能源的消纳能力和能量信息共享的优势成为目前电力能源系统的发展方向，在能源互联网中，供能和用能用户都可以进行平等自由的能量交换。作为能源互联网能量和信息交换中的核心设备，能量路由器需要根据用能需求给出合理的供能节点选择和最优的能量路由，以满足用户用能需要和减少能量传输中的损失。

目前对能量路由器供能节点和能量路由优化主要通过路由表和动态寻优算法这两种方式。

其中，路由表需要在每个能量路由器中保存所有能量路由器和线路的信息，以使新增负载在传递到一个能量路由器时，通过查询路由表来确定能量传递的下一节点。但在实际的能源互联网中，由于新能源发电和负载的波动性，每个能量路由器的状态信息会动态变化，路由表需要频繁地进行更新，导致增加了能源互联网中信息流的传输负担；同时路由表也只能反映线路的信息，无法考虑能量传输中的损失等因素。在使用动态寻优算法进行能量路由器供能节点和能量路由优化时，虽然可以考虑能量传输中的损失，但在加入更多的考虑因素如电能质量、供能价格、电压稳定性时，动态寻优算法的求解会变得十分复杂，无法保证结果的实时性和准确性。

发明内容

由于现有方法存在上述问题，本申请实施例提供一种能量路由优化方法。

具体的，本申请实施例提供了以下技术方案：

本申请实施例提供一种能量路由优化方法，包括：

获取能源互联网中由N个能量路由器互联形成的网络结构，以及每个能量路由器的状态信息历史数据集和设备参数；

根据所述能源互联网和能量路由器的运行原理构建能源互联网的强化学习环境，并根据所述网络结构构建由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；其中，所述强化学习Q网络、actor网络和critic网络均采用全连接的神经网络结构；

根据所述能源互联网中每个能量路由器的状态信息历史数据集和设备参数，并综合每个能量路由器的可用供电容量、供电质量和可靠性、价格，以及新增负载到该能量路由器需要经过的路由数量、传输线路长度，构建供电能量路由器的评价Q函数，并对每两个能量路由器之间的能量传递，构建每一次能量传递的奖励R函数；其中，所述评价Q函数用于计算供电能量路由器的奖励值；所述奖励R函数用于计算执行每一次能量传递动作所获得的奖励值；

初始化图卷积神经网络、强化学习Q网络、actor网络和critic网络的参数θ_G、θ_Q、θ_a和θ_c；通过在随机能量路由器增加负载来模拟新增负载的情况，利用能源互联网中各能量路由器的状态信息历史数据集和设备参数作为输入样本，以及利用各能量路由器的评价Q函数、能量路由路径和奖励R函数作为输出样本，训练由图卷积神经网络、强化学习Q网络、actor网络和critic网络组成的深度强化学习模型；