[发明专利]一种修复决策模型的构建方法、系统和电网系统修复方法

说明书

本发明公开了一种修复决策模型的构建方法、系统和电网系统修复方法，包括：以系统弹性最大化为目标函数，并根据电网系统的节点约束和配电线路约束，建立单级直流最优潮流模型；获取电网系统中所有配电线路的修复时间问题，并基于单级直流最优潮流模型，将修复时间问题表述为马尔科夫动态决策过程；采用双重竞争深度Q网络求解马尔科夫动态决策过程，以获得对应的损失函数，并基于损失函数对原始深度Q网络进行训练，获得修复决策模型。本发明以系统弹性最大化为目标函数，建立修复时间问题，以充分考虑到系统弹性变化，并通过双重竞争深度Q网络，求解修复时间问题对应的决策过程，简化采样步骤，实现大规模状态动作空间下修复决策的高效输出。

技术领域

本发明涉及电网系统故障修复领域，尤其涉及一种修复决策模型的构建方法、系统和电网系统修复方法。

背景技术

现代社会对电能的日益依赖促使电网以可靠的原则来应对已知威胁并确保高质量的电力供应。电力系统面对自然灾害时常表现出高度脆弱性，因此需要弹性策略来提高电网吸收冲击并从破坏性事件中快速恢复的能力。频繁和严重的自然灾害不断困扰着电网管理者，这凸显了电网弹性研究的重要性。在极端中断发生后及时修复故障组件，如电塔和配电线路，可以有效减少电力系统中的甩负荷。

目前，通常采用优化建模的方法获得恢复电网系统功能的最佳修复序列，然而在发生大规模停电时，电网的恢复通常是杂乱无章且耗时的，而解决复杂的优化模型并确定大规模系统的最佳修复顺序非常困难，并且求解时间过长，特别是在考虑到不确定的故障部件修复时间的时候，无法即时对紧急中断做出响应。此外，深度强化学习方法可以通过自动离线学习决策经验来解决电网弹性的组合优化问题，最近被广泛应用于电网中不确定突发事件的应对决策。然而现有方法并不能精准反应电网的弹性变化，同时对于考虑不确定修复环境下庞大动作空间的学习能力仍然较差。

发明内容

本发明提供了一种修复决策模型的构建方法、系统和电网系统修复方法，实现系统弹性最大化，并简化深度Q网络的采样步骤，以提升修复决策模型输出修复决策的效率与准确度，防止电网系统长时间处于故障状态。

为了解决上述技术问题，本发明实施例提供了一种修复决策模型的构建方法，包括：

以系统弹性最大化为目标函数，并根据电网系统的节点约束和配电线路约束，建立单级直流最优潮流模型；

获取所述电网系统中的所有配电线路的修复时间问题，并基于所述单级直流最优潮流模型，将所述修复时间问题表述为马尔科夫动态决策过程；

采用双重竞争深度Q网络，求解所述马尔科夫动态决策过程，以获得所述双重竞争深度Q网络中的原始深度Q网络的损失函数，然后基于所述损失函数，对所述原始深度Q网络进行训练，并将完成训练的所述原始深度Q网络作为修复决策模型；

其中，所述双重竞争深度Q网络，包括所述原始深度Q网络、目标深度Q网络和竞争网络结构。

实施本发明实施例，以系统弹性最大化为目标函数，并利用电网系统的节点约束和配电线路约束作为约束函数，建立单级直流最优潮流模型，以便通过单级直流最优潮流模型确定最优能量分布和修复时间问题，然后将修复时间问题表述为马尔科夫动态决策过程，以适配双重竞争深度Q网络的求解模式，导致训练后的修复决策模型不仅能够充分考虑到系统弹性，使得系统弹性最大化，还可以通过双重竞争深度Q网络中的竞争网络结构，简化采样步骤，从而实现大规模状态动作空间下的修复决策的高效输出，以协助工作人员开展维修工作。

作为优选方案，所述采用双重竞争深度Q网络，求解所述马尔科夫动态决策过程，以获得所述双重竞争深度Q网络中的原始深度Q网络的损失函数，然后基于所述损失函数，对所述原始深度Q网络进行训练，并将完成训练的所述原始深度Q网络作为修复决策模型，具体为：

利用所述双重竞争深度Q网络，求解所述马尔科夫动态决策过程，以获得对应的目标值和估计值，并根据所述目标值和所述估计值，计算得到所述原始深度Q网络的损失函数；