[发明专利]一种基于DQN的5G融合智能配电网能量管理方法

说明书

发明涉及一种基于DQN的5G融合智能配电网能量管理方法，属于通信技术领域。本发明提出的基于DQN具有能量队列感知的任务卸载方法能够有效的处理高维复杂的环境状态信息。并通过深度强化学习做出最优的能量管理决策，实现5G基站降本增效与供电稳定性的性能的有效折衷。促进新能源消纳、维持电网能量供需平衡，同时提升5G基站降本增效效果。能够同时考虑供电稳定性性能和电力业务差异化QoS需求，考虑了信息流与能量流间的耦合关系，即考虑了传输时延、误码率等通信需求对储能系统电池状态的影响，使得储能运行商在保障基站供电稳定性的同时学习到长期最优的能量管理策略，满足电力业务数据稳定、可靠传输的通信需求。

技术领域

本发明涉及一种基于DQN的5G融合智能配电网能量管理方法，属于通信技术领域。

背景技术

随着5G移动通信网络的快速发展，大量的储能单元被广泛部署在规模化建成的5G基站上。一方面，5G所提供的丰富储能资源在保障配电网电量供需平衡方面发挥着重要作用，同时5G移动通信技术以其广域覆盖、超低时延和超高可靠的特点为配电网提供先进的通信和计算能力。另一方面，配电网能够为5G基站提供丰富的电力资源，协同调度二者所具有的能量有助于5G基站实现降本增效目标。5G融合智能配电网成为了一个新的研究热点，对实时、智能的能量管理方案提出了更高的要求。具体来说，如何协同利用5G融合智能配电网中的“源、网、荷、储”资源，根据新能源出力情况、电网的分时电价政策和负荷波动等情况，使储能系统对具有出力不确定性的新能源做出响应，从而在提高新能源消纳率并提供电网辅助业务的同时实现5G基站的降本增效是一个值得研究的问题。

传统的能量管理方法面向单一的配电网或5G网络系统，多采用确定性模型构建能量管理问题。然而，5G融合智能配电网是一个动态、复杂、大规模且异构的系统，其能量管理的对象也具有多主体、异构等特点，单一面向配电网或5G网络系统的能量管理方法很难满足能量管理的实时性和智能性要求。利用人工智能算法实现5G融合智能配电网能量管理带来了一种全新的范式，即通过协同调度5G融合智能配电网的“源、网、荷、储”四部分资源，满足配电网能量供需平衡及电力业务差异化QoS需求，同时实现5G基站的降本增效目标。但是5G融合智能配电网能量管理仍面临着一些技术挑战，具体总结如下：

第一，5G基站负载的波动性、可再生能源的间歇性、庞大的信令开销及安全隐私问题等使得5G融合智能配电网系统获得全局状态几乎是不可能的。同时，5G基站的大幅增多和网络的动态变化为能源管理优化求解带来数维灾难问题，即，5G融合智能配电网系统的异构性和动态性加剧了优化复杂度。

第二，能量管理决策面向的“源、网、荷、储”四部分资源以及各主体间的优化决策是耦合的，比如，基站与智能配电网之间的能量交换决策是相互影响的，因此其能量管理问题无法用传统的基于模型的优化方法解决。

第三，在智能能源管理过程需要关注实时性消息传递，而基站的可靠运行需要长时间稳定的能量供应，传统的能量管理优化方法往往忽略了能量流与信息流的耦合关系，忽略了电力数据需稳定传输这一长时约束，无法保证基站稳定的供电能力。

因此，迫切需要设计一种基于DQN的5G融合智能配电网能量管理方法，通过机器学习对5G基站决策进行动态优化，在全局信息不可知的前提下大幅度提升5G基站的能量交互和信息交互能力，满足配电网能量供需平衡及电力业务差异化QoS需求。

有鉴于上述的缺陷，本发明以期创设一种基于DQN的5G融合智能配电网能量管理方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于DQN的5G融合智能配电网能量管理方法。

本发明的一种基于DQN的5G融合智能配电网能量管理方法，包括以下步骤：

S1、构建系统模型框架；

采用时隙模型，将整个优化时间划分为T个时隙，其集合定义为T＝{1,...,t,...,T}；