[发明专利]一种配电网电压自主优化控制方法及装置

说明书

本发明公开了一种配电网电压自主优化控制方法及装置，该方法包括，构建基于多种调压装置的配电网双时间尺度最优电压控制模型；将电压控制问题转化成马尔科夫决策过程；基于所述马尔科夫决策过程中的离散型控制变量构建深度Q网络智能体，基于连续型变量构建深度确定性策略梯度智能体；基于调压装置的历史状态数据构建训练集和测试集，训练智能体；将实时获得的调压装置状态数据输入到训练好的深度Q网络智能体和深度确定性策略梯度智能体，得到输出动作，对电压进行自主控制。本发明方法建立了双时间尺度电压自主优化控制方案，实现了有功调整和无功调整相结合，实现对各种调压装置的优化控制。

技术领域

本发明涉及电气工程技术领域，具体的是一种配电网电压自主优化控制方法及装置。

背景技术

渗透率分布式光伏的发展使配电网络面临电压调节问题。通常，配电网中的电压分布是通过控制慢速调节装置(例如有载分接开关(OLTC)和并联电容器)和快速调节装置(例如光伏逆变器和静态无功补偿器(SVC))来调节的，但这些装置只是调整无功功率在电网中的分布。然而，有功潮流也会影响配电网中的节点电压。因此，应考虑不同设备的有功功率和无功功率控制，以减轻可能的电压违规。

传统配电网缺乏量测系统，导致获得的两侧信息不足，因此电压控制一般采用基于模型的方法，高度依赖于精确的物理模型。从本质上讲，通过有功和无功优化进行电压控制是一个具有多变量和多约束的高度非线性规划问题。使用经典的优化解析方法(例如二阶锥松弛技术和对偶理论)解决此类问题往往受到变量数量的限制，甚至可能在配电网络过于复杂时失效。因此，启发式算法被应用于解决这类问题，例如粒子群优化、遗传算法等。但这些算法存在随机性高、搜索时间长、易陷入局部最优解等缺点，不能满足快速时间尺度的实时电压控制。另外，经典解析法和启发式算法中，每个优化解都是相互独立的，如果实际运行条件(如分布式电源输出)稍有变化，往往无法充分利用之前的优化结果从而实现快速求解。

近年来，人工智能技术，尤其是深度强化学习(DRL)技术的不断发展及其在不同领域的成功经验，吸引了相关学者探索其在电力系统中的应用。作为强化学习理论的一个分支，DRL采用“试错”机制与动态环境交互，为智能体找到最佳策略。它在解决复杂的多变量问题方面具有很大的优势。同时监控和数据采集(SCADA)和相量测量单元(PMU)覆盖范围的扩大，以及物联网技术的建设，为基于DRL的电压控制提供了有效途径。

目前已有研究采用Q-learning来解决无功功率优化问题，但是Q-learning方法容易陷入维数诅咒，且只适用于动作空间和状态空间都是离散的问题。受神经网络(NN)对高维搜索空间的强大探索能力的启发，深度Q网络(DQN)使用NN来逼近动作值函数来处理连续状态域，可用于处理状态空间连续、动作空间离散的问题。此外，为了处理连续状态和动作空间的问题，深度确定性策略梯度(DDPG)，使用两个神经网络来逼近策略函数和动作值函数。然而，现有的DRL电压控制方法只关注无功功率控制，不能同时处理离散和连续控制变量，且无法实现在不同时间尺度内对不同设备进行控制。

发明内容

本发明的目的在于提供一种配电网电压自主优化控制方法机装置，通过建立双时间尺度电压自主优化控制方案，实现有功调整和无功调整相结合，实现对各种调压装置的优化控制。

为达到上述目的，本发明采用的技术方案如下：

本发明提供一种配电网电压自主优化控制方法，包括：

基于预先建立的配电网双时间尺度最优电压控制模型，将电压优化控制问题转化成马尔科夫决策过程；

基于所述马尔科夫决策过程中的离散型控制变量构建深度Q网络智能体，基于所述马尔科夫决策过程中的连续型变量构建深度确定性策略梯度智能体；

基于调压装置的历史状态数据构建训练集和测试集，训练所述深度Q网络智能体和深度确定性策略梯度智能体；其中所述调压装置包括电容器组、光伏逆变器和储能装置；