[发明专利]一种基于强化学习的变电站内巡检机器人路径规划方案

说明书

本发明涉及一种基于强化学习的变电站内巡检机器人路径规划方案，该方案针对变电站巡检场景，在获取实际变电站环境信息之后，通过栅格法建立变电站环境模型，并采用SARSA算法设计巡检机器人路径规划方案，以贪婪策略代替Q‑learning中的贪婪策略，通过更为保守的路径规划，减少巡检机器人与障碍物发生碰撞的概率，大大延长其使用寿命。此外，通过对SARSA算法中奖赏的设计，减少机器人到达同一个巡检点位的次数，保证机器人快速高效地完成巡检任务。与现有技术相比，本发明能够实现以巡检机器人为主体的自主路径选择与安全避障，达到性能的快速高效收敛，对场景的适应能力更强，业务性能更优。

技术领域

本发明属于电力巡检技术领域，具体涉及一种基于强化学习的变电站内巡检机器人路径规划方案。

背景技术

作为电力运维保障的重要组成部分，变电站巡检可以实时掌握电气设备的运行情况，及时发现故障和异常，防止因突发事故造成变电站功能瘫痪，保障电网的安全稳定运行。传统变电站巡检主要采用人工方式，往往存在巡检人员主观能动性差、漏检现象严重、难以建立电子化档案等问题，在电力物联网广泛建设的当下已然不能完全满足要求。目前，许多变电站已采用先进的电力巡检机器人实现对站内地面设施的常态化巡检，以确保及时发现故障并报告。

然而，变电站无人巡检也往往存在难以进行有效路径规划的问题。

1）变电站中，各类电气设备分布情况复杂，部分变电站地面年久失修，无法供机器人安全通行，而需要进行巡检的点位往往呈随机分布，且与各类电气设备在地理位置上高度相关。因此，在进行巡检路径规划时，如何实现安全避障是一个亟待解决的问题。

2）受限于有限的电池容量，机器人需要合理规划巡检路径的同时尽可能保证巡检路径最短，减少对某一巡检点位多次重复的巡检，造成不必要的资源浪费。因此，如何实现巡检路径的最短和巡检任务的快速完成是另一个亟待解决的问题。

传统巡检路径规划方案往往采用遗传算法、蚁群算法、模拟退火算法等启发式算法，此类算法对场景参数的要求较高，存在算法复杂度高、性能收敛慢、优化结果不稳定等问题，容易发生陷入局部最优的情况，且适应性差，难以应对灵活多变的变电站场景。而采用强化学习算法可以实现以巡检机器人为主体的自主路径选择与安全避障，通过在模拟场景中不断“试错”，以达到性能的快速高效收敛，相较于传统方式对场景的适应能力更强。

发明内容

有鉴于此，本发明的目的在于提出一种基于强化学习的变电站内巡检机器人路径规划方案，以实现有效的安全避障和路径规划。

为达到上述目的,本发明提供如下技术方案。

一种基于强化学习的变电站内巡检机器人路径规划方案，该方案针对变电站巡检场景，通过栅格法对实际变电站环境建模，并采用SARSA算法设计巡检机器人路径规划方案，在解决巡检机器人安全避障问题的同时合理规划巡检路径，适应实际变电站的复杂环境。该方案具体包括以下步骤。

S1：获取实际变电站环境信息，建立变电站环境模型。

S2：设计基于SARSA算法的变电站内巡检机器人路径规划方案。

S3：简述具体方案流程，并将其在变电站环境模型中进行重复训练。

S4：通过仿真实例验证本发明所提方案的有效性。

进一步的，所述步骤S1中，利用栅格法对变电站环境进行建模，将其抽象为的栅格图。在变电站环境模型中，白色区域表示变电站内的可通行道路，乘号区域表示障碍物。巡检机器人、巡检点位及充电仓分别用五角星、加号和正五边形表示。

进一步的，所述步骤S2中，设计基于SARSA算法的巡检机器人路径规划方案，主要包括智能体、环境、状态、动作以及奖赏的设计。其中，在奖赏的设计过程中，当巡检机器人再次经过已到达的巡检点位时，无法重复获得奖励值，从而引导巡检机器人减少到达同一个巡检点位的次数。