[发明专利]一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略

摘要

本发明公开了一种基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，解决了复杂网络进行集群维修的恢复策略生成的问题。步骤如下：1根据局部破坏信息建立复杂网络的集群维修状态矩阵。2基于初始集群维修状态生成复杂网络邻接矩阵。3基于神经网络模型预测集群的先验维修状态转移概率和维修策略价值。4基于蒙特卡洛树搜索算法遍历集群的维修策略解空间，并选择当前时刻全局最佳维修动作。5基于集群维修状态的变化更新复杂网络邻接矩阵。6基于集群维修状态和邻接矩阵计算并检验复杂网络的恢复程度。7基于强化学习经验参数训练神经网络参数。8基于恢复策略自改进过程的一系列最佳维修动作生成一个完整的维修恢复方案。

主权项

1.基于改进强化学习的复杂网络局部破坏的自改进恢复策略方法，其特征在于：它包含以下步骤：第一步：基于局部破坏建立复杂网络的集群维修状态矩阵：根据破坏信息建立复杂网络“节点‑单元”集群的维修状态0‑1矩阵。第二步：基于初始集群维修状态生成复杂网络邻接矩阵：考虑维修状态矩阵与邻接矩阵的映射关系，基于初始的集群维修状态生成复杂网络邻接矩阵。第三步：基于神经网络模型预测集群的先验维修状态转移概率：设计一个SE‑ResNet神经网络预测“节点‑单元”集群的先验维修状态转移概率和先验维修策略价值。第四步：基于蒙特卡洛树搜索算法遍历集群的维修策略解空间：遍历维修策略解空间，得到改进的维修状态转移概率矩阵，并据此选择当前时刻全局最佳维修动作。第五步：基于集群维修状态的变化更新复杂网络邻接矩阵。第六步：计算并检验复杂网络的恢复程度：基于复杂网络的集群维修状态和邻接矩阵计算并检验其恢复程度。第七步：基于强化学习经验参数训练神经网络参数：基于恢复策略自改进过程产生的一组最新的强化学习经验参数，利用梯度下降法训练神经网络参数。第八步：基于恢复策略自改进过程生成一个完整的维修恢复方案：由恢复策略自改进过程存储的一系列最佳维修动作生成一个完整的维修恢复方案。通过以上步骤，给出了一种基于改进强化学习的自改进恢复策略方法，可以解决复杂网络局部破坏状态下进行集群维修的恢复策略问题。