[发明专利]一种修复决策模型的构建方法、系统和电网系统修复方法

权利要求书

1.一种修复决策模型的构建方法，其特征在于，包括：

以系统弹性最大化为目标函数，并根据电网系统的节点约束和配电线路约束，建立单级直流最优潮流模型；

获取所述电网系统中的所有配电线路的修复时间问题，并基于所述单级直流最优潮流模型，将所述修复时间问题表述为马尔科夫动态决策过程；

采用双重竞争深度Q网络，求解所述马尔科夫动态决策过程，以获得所述双重竞争深度Q网络中的原始深度Q网络的损失函数，然后基于所述损失函数，对所述原始深度Q网络进行训练，并将完成训练的所述原始深度Q网络作为修复决策模型；

其中，所述双重竞争深度Q网络，包括所述原始深度Q网络、目标深度Q网络和竞争网络结构。

2.如权利要求1所述的一种修复决策模型的构建方法，其特征在于，所述采用双重竞争深度Q网络，求解所述马尔科夫动态决策过程，以获得所述双重竞争深度Q网络中的原始深度Q网络的损失函数，然后基于所述损失函数，对所述原始深度Q网络进行训练，并将完成训练的所述原始深度Q网络作为修复决策模型，具体为：

利用所述双重竞争深度Q网络，求解所述马尔科夫动态决策过程，以获得对应的目标值和估计值，并根据所述目标值和所述估计值，计算得到所述原始深度Q网络的损失函数；

采用梯度下降法，对所述双重竞争深度Q网络中的所述原始深度Q网络进行迭代优化，每次迭代优化时调整所述原始深度Q网络的网络参数，并根据调整后的所述双重竞争深度Q网络求解所述马尔科夫动态决策过程，以更新所述损失函数，直到当前的所述损失函数最小化，则完成对所述原始深度Q网络的训练，并将当前的所述原始深度Q网络作为所述修复决策模型。

3.如权利要求2所述的一种修复决策模型的构建方法，其特征在于，所述利用所述双重竞争深度Q网络，求解所述马尔科夫动态决策过程，以获得对应的目标值和估计值，具体为：

按照预设的双重Q网络算法，利用所述双重竞争深度Q网络中的所述目标深度Q网络，对所述原始深度Q网络输出的最佳修复策略进行评估，以获得对应的所述目标值；其中，所述双重Q网络算法，具体为：

式中，表示电网系统的所有配电线路在(s+1)阶段的最佳修复策略对应的目标值，表示在(s+1)阶段基于系统弹性的即时收益，γ表示未来收益折扣因子，表示由电网系统的所有配电线路在(s+1)阶段的运行状态所构成的状态空间，A_s+1表示由电网系统的所有配电线路在(s+1)阶段的修复动作所构成的动作空间，θ_p表示原始深度Q网络的网络参数，θ_w表示目标深度Q网络的网络参数，Q_p表示原始深度Q网络的输出结果，Q_w表示目标深度Q网络的输出结果；

按照预设的竞争网络算法，利用所述双重竞争深度Q网络中的所述竞争网络结构，求解所述马尔科夫动态决策过程，以获得对应的所述估计值；其中，所述双重Q网络算法，具体为：

式中，表示电网系统基于状态空间和动作空间A_s的估计值，表示由电网系统的所有配电线路在s阶段的运行状态所构成的状态空间，A_s表示由电网系统的所有配电线路在s阶段的修复动作所构成的动作空间，V(S_s|θ_p)表示状态空间对应的标量，A_s′表示所选的动作空间A_s对应的可能替代动作空间，表示在状态空间下动作空间A_s的优势函数，表示在状态空间下可能替代动作空间A_s′的优势函数。