[发明专利]基于强化学习的故障线路查找方法、装置、系统及介质

权利要求书

1.一种基于强化学习的故障线路查找方法，其特征在于，包括：

采集配电网的线路信息并构建故障线路查找模型；

初始化Q值表，所述Q值表用于记录在每个已核查线路下执行每个未核查线路的故障查验动作获得的折扣累计强化值；

根据所述线路信息对各个未核查线路执行故障查验动作，根据查验结果和故障风险信息计算每次故障查验动作的立即强化值并更新所述Q值表，直到所述Q值表收敛；

根据已收敛的所述Q值表和所述故障线路查找模型的输入线路状态输出故障查验动作的最优序列；

所述根据所述线路信息对各个未核查线路执行故障查验动作，根据查验结果和故障风险信息计算每次故障查验动作的立即强化值并更新所述Q值表，直到所述Q值表收敛，包括：

随机选取一个线路作为初始线路状态；

在所述初始线路状态下根据所述线路信息选择下一个未核查线路执行所述故障查验动作，将所述下一个未核查线路作为当前线路状态；

根据所述下一个未核查线路的查验结果与故障风险信息计算本次故障查验动作的立即强化值，并根据所述立即强化值更新所述Q值表；

继续在所述当前线路状态下选择下一个未查验线路执行所述故障查验动作后更新所述Q值表，直到所述Q值表收敛；

所述根据所述下一个未核查线路的查验结果与故障风险信息计算本次故障查验动作的立即强化值，并根据所述立即强化值更新所述Q值表，包括：

确认所述下一个未核查线路是否查到故障；

若查到故障，则反馈预设奖励值作为本次故障查验动作的立即强化值，具体不同线路的预设奖励值是固定值或者预先设置的不相同的值；

若未查到故障，则根据所述下一个未核查线路的故障风险信息反馈相应的惩罚值，作为本次故障查验动作的立即强化值；

根据所述立即强化值更新所述Q值表；

所述根据所述下一个未核查线路的故障风险信息反馈相应的惩罚值，作为本次故障查验动作的立即强化值，包括：

获取所述下一个未核查线路的故障风险信息中各项风险因素的评估值；

根据各项风险因素的评估值与预设权重计算并反馈相应的惩罚值，作为本次故障查验动作的立即强化值；

其中，所述故障风险信息中预设有若干项风险因素，包括未核查线路的核查难易程度、历史巡视情况、线路历史故障情况、线路带用户户数、用户重要等级和线路位置，根据不同线路的风险情况预先进行分析评估并得到每项风险因素的评估值，以体现在未查到故障时对整体故障查线的影响。

2.根据权利要求1所述的基于强化学习的故障线路查找方法，其特征在于，所述根据所述立即强化值更新所述Q值表，包括：

根据公式对所述Q值表进行更新，其中，为在线路状态下与故障查验动作对应的Q值，为学习因子，为在线路状态下执行故障查验动作，使得线路状态转移为后得到的立即强化值；为折扣因子，为在线路状态下，对所有故障查验动作进行遍历得到的最大Q值。

3.根据权利要求2所述的基于强化学习的故障线路查找方法，其特征在于，所述故障线路查找模型为。

4.根据权利要求3所述的基于强化学习的故障线路查找方法，其特征在于，所述根据已收敛的所述Q值表和所述故障线路查找模型的输入线路状态输出故障查验动作的最优序列，包括：

确认所述输入线路状态，令当前线路状态=；

根据所述故障线路查找模型确认当前线路状态下的故障查验动作；

令当前线路状态=，为与故障查验动作对应的下一个线路状态；

继续根据所述故障线路查找模型确认下一个故障查验动作，直到当前线路状态为目标线路状态。