[发明专利]一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略

说明书

本发明公开了一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，解决了复杂网络进行集群维修的恢复策略生成的问题。步骤如下：1根据局部破坏信息建立复杂网络的集群维修状态矩阵。2基于初始集群维修状态生成复杂网络邻接矩阵。3基于神经网络模型预测集群的先验维修状态转移概率和维修策略价值。4基于蒙特卡洛树搜索算法遍历集群的维修策略解空间，并选择当前时刻全局最佳维修动作。5基于集群维修状态的变化更新复杂网络邻接矩阵。6基于集群维修状态和邻接矩阵计算并检验复杂网络的恢复程度。7基于强化学习经验参数训练神经网络参数。8基于恢复策略自改进过程的一系列最佳维修动作生成一个完整的维修恢复方案。

所属技术领域

本发明提供一种基于改进强化学习的复杂网络局部破坏状态下的自改进恢复策略(Self-improvement Recovery Strategy，SIRS)方法，尤其涉及一种考虑网络节点组成单元特征，基于改进的强化学习算法，实现自改进求解复杂网络多节点集群维修的恢复策略方法，属于维修性工程领域。

背景技术

自改进恢复策略(SIRS)是指复杂网络发生局部破坏后，破坏位置出现多节点集中不可用的情况，通过集群维修的方式快速抢修至整体可用状态。但目前国内外关于集群维修的研究一般不考虑时序。随着维修性越来越受到重视，对复杂网络开展集群维修策略的研究提出了更高的要求，即充分考虑集群维修的时序和收益不确定特征，以及问题整体的NP-hard特征，提供一种高效的集群维修策略方法。

本发明基于维修状态转移概率的神经网络预测模型和蒙特卡洛树搜索(MonteCarlo Tree Search，MCTS)算法，发明了一种基于改进强化学习的新型的自改进恢复策略(SIRS)方法，解决了复杂网络局部破坏状态下的集群维修策略生成的问题。

发明内容

本发明的目的是为局部破坏状态下的复杂网络提供一种新型的自改进恢复策略(SIRS)方法，旨在解决传统集群维修策略方法未充分考虑集群维修的时序和收益不确定特征，以及问题整体的NP-hard特征等问题。

本发明提出了一种基于神经网络预测模型和蒙特卡洛树搜索(MCTS)算法的SIRS方法，主要包含以下步骤：

步骤一：基于局部破坏建立复杂网络的集群维修状态矩阵。

将复杂网络局部破坏恢复策略视为多节点的集群维修问题展开研究。首先，构建复杂网络的节点集合K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}(其中n为节点的个数)，将各节点的组成进行拆解，建立其单元集合U＝{u₁,u₂,…,u_m}。以此为基础，建立m×n的“节点-单元”矩阵，并根据局部破坏信息，用“0”表示待维修的局部破坏空间中的故障单元，“1”表示正常单元，对矩阵中元素赋值，形成维修状态矩阵S。

步骤二：基于初始集群维修状态生成复杂网络邻接矩阵。

将一个复杂网络抽象为一个由节点集K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}和连接(边)集组成的图G＝(K,E)。用一个n×n的邻接矩阵A描述复杂网络中n个节点之间的连接关系(边)，且不考虑自环。当复杂网络中所有单元均正常时，邻接矩阵记为A*。

将节点k_i的单元集U_i＝{u₁,u₂,…,u_m}分为三类单元集则表示单元集中的所有节点均为破坏空间中的故障单元，同理可以对和两类单元集进行描述。基于上述分类，以节点k_i为例，假设维修状态矩阵S中元素与邻接矩阵A中元素的映射关系f_S→A为