[发明专利]一种电力系统深度强化学习紧急控制策略提取方法

说明书

本发明提出了一种电力系统深度强化学习紧急控制策略提取方法。通过引入电力系统节点模型多个历史时刻的特征数据构建观测数据；进一步构建深度Q学习网络模型，并采用随机梯度下降优化算法进行优化训练得到电力系统紧急控制深度强化学习模型；基于已训练完成的深度Q学习网络模型，在特定的故障场景下，生成数据集；并在此数据及上训练基于信息增益比的加权倾斜决策树模型，以完成策略提取；设定策略保真度指标、策略实际控制性能指标、模型复杂度指标，以评估不同超参数下的模型性能，从而根据实际需求选出最优模型，以用于电力系统紧急控制领域中。

技术领域

本发明属于人工智能与电力系统交叉领域，尤其涉及一种电力系统深度强化学习紧急控制策略提取方法。

背景技术

在世界各地发生的一些大停电事件，例如2003年的美加大停电，造成了巨大的社会经济损失，警示着我们亟需构建一个更加安全、可靠的电力系统。但是，当前的电力系统保护与控制机制都是在离线情况下基于一些典型场景设计的，并不能适应电力系统的未知变化。与此同时，随着人工智能(Artificial Intelligence,AI)技术在自然语言处理技术，计算机视觉，自动驾驶等领域的发展，这些技术也在电力系统中取得了成功的应用，例如负荷预测和新能源预测，输电线路覆冰厚度辨识，电动汽车快速充电引导等。以深度学习(Deep Learning,DL)为代表的人工智能算法因为其强大的特征提取和非线性映射能力，可使其更加容易地应对电力系统的未知变化。

近年来，深度强化学习(Deep Reinforcement Learning,DRL)在自动驾驶，游戏等的应用验证了它在解决序列决策问题上的优势，当然也包括电力系统控制问题。众多学者尝试基于DRL去解决电力系统预防控制、紧急控制、恢复控制等问题，并取得了良好的效果。

但是人工智能算法自身的黑盒性、难以交互性限制了它们在实际场景中的应用，尤其在涉及到一些关键决策的场合。因此，国内外学者尝试基于模仿学习和知识蒸馏等概念，利用现有AI模型，以建立一个更加轻量的，具有可解释性的决策模型。具体地，一些学者提出了基于决策树及其变体的强化学习策略提取方法。但是，这些工作都仅仅在一些简单游戏场景下验证了他们的可行性，相关的工作在电力系统控制问题中的研究与成效还未开展。

发明内容

为解决上述背景技术的不足，本发明提出了一种电力系统深度强化学习紧急控制策略提取方法。

本发明的具体技术方案为一种电力系统深度强化学习紧急控制策略提取方法，具体包括以下步骤。

步骤1：引入电力系统节点模型多个历史时刻的特征数据构建观测数据；

步骤2：引入深度Q学习网络模型，进一步将多组观测数据依次输入至深度Q学习网络模型，预测并得到负荷削减动作，进一步采用随机梯度下降优化算法进行优化训练得到电力系统紧急控制深度强化学习模型；

步骤3：基于已训练完成的深度Q学习网络模型，在特定的故障场景下，生成数据集；

步骤4：在信息增益比的加权倾斜决策树模型中每个非叶子节点下，将所述每个非叶子节点下下数据集中状态-动作对数据输入于信息增益比的加权倾斜决策树模型中，并通过拟牛顿算法求解模型目标函数最小值，并得到该节点下模型最优参数，同时将该节点下数据集分为左子集、右子集，并构建左子节点、右子节点，循环上述步骤，直到满足算法终止条件；

步骤5：设定策略保真度指标、策略实际控制性能指标、模型复杂度指标，以评估不同超参数下的模型性能，从而根据任务需求选出最优模型，用于电力系统紧急控制中；

作为优选，步骤1所述观测数据，具体定义为：

X_t＝[u_t,u_t+1,...,u_t+L-1]^T