[发明专利]一种基于深度强化学习的机器人三维测量路径规划方法

说明书

本发明公开了一种基于深度强化学习的机器人三维测量路径规划方法，包含基于多层视球和下一最优视点的MLVS‑NBV规划方法生成候选视点集合，使用IKFast运动学求解器求解各视点对应的机器人的所有逆运动学解，建立视点—逆运动学解的评估矩阵，利用PC‑NBV点云网络学习和预测选择下一视点后的覆盖率，建立GTSP问题并利用DDQN深度强化学习方法求解，使用GPMP2运动规划器快速生成测量路径，将训练网络迁移到实际的机器人测量任务。通过视点规划方法保证测量视点的可行性并提高对不同测量对象的测量覆盖率，利用深度强化学习技术实现对不同已知对象的自主测量和对未知对象的探索式测量，规划速度快、适应性强、效率高。

技术领域

本发明属于机器人三维测量技术领域，特别是涉及一种基于深度强化学习的机器人三维测量路径规划方法。

背景技术

冗余机器人测量系统广泛应用于航空、航天、船舶、能源、汽车等制造业，具有灵活性强、工作空间大、测量精度高等特点。代表性的冗余机器人测量系统包括7自由度机器人测量系统（通常采用机器人和电动转台实现协同测量）、移动测量机器人系统（通常采用移动机器人和工业机器人实现协同测量）和超冗余测量系统（如采用蛇形测量机器人完成弯曲管道检测）。本发明面向一种7自由度的机器人测量系统，该系统主要包括协作机器人、双目结构光扫描仪和电动转台。协作机器人是一种柔性机器人，可以实时检测每个关节的扭矩，实现灵敏地检测碰撞，并提供友好的拖拽操作，可以保证机器人与操作人员之间的高效协作。

然而，在三维测量过程中，协作机器人末端位姿跟踪误差大，会降低三维重建的精度，通常采用标记点来对齐多个测点云而不是直接使用机器人的位姿。一个实际而关键的问题是如何保证点标记点在扫描仪感知的范围内，以保证三维重建的成功率。此外，由于冗余性，存在无限多个逆运动学解到达某一个可行的视点姿态。这一特性提供了遍历所有给定视点同时尽量减少路径成本和时间成本的可能性，但如何分析每个视点的可行性、确定其遍历顺序、选择最优的逆运动学解和生成无碰撞的测量路径变得更加复杂。传统的方法是对电动转台的角度进行采样，并根据转台的不同采样角度生成给定视点下6自由度机器人的运动学逆解，然后根据人工定义度量（例如最大机器人可操作性，最小关节运动角度）选择一个可行的次优的逆运动学解，最后规划视点的遍历顺序和生成无碰撞测量路径。这种方法简单可行，但不能综合考虑视点数量、路径成本和时间成本，获得最优的测量策略。

目前，机器人测量系统的测量对象和测量路径相对固定，尤其对未知对象缺乏有效的探索式测量技术。如何通过学习方式的实现人类技能水平的自主智能测量是机器人测量系统的未来发展趋势。

发明内容

针对以上技术问题，本发明提供一种基于深度强化学习的机器人三维测量路径规划方法。

本发明解决其技术问题采用的技术方案是：

一种基于深度强化学习的机器人三维测量路径规划方法，所述方法包括以下步骤：

S100：基于多层视球和下一最优视点的MLVS-NBV规划方法生成候选视点集合；

S200：使用IKFast运动学求解器求解候选视点集合中各视点对应的机器人的所有逆运动学解；

S300：建立视点—逆运动学解的评估矩阵；

S400：基于候选视点集合建立训练数据集，根据训练数据集对PC-NBV点云网络进行训练，基于训练后的PC-NBV点云网络学习和预测选择下一个视点后的覆盖率；

S500：将测量视点选择问题建模为GTSP问题，搭建基于DDQN的网络架构，根据评估矩阵、覆盖率预测矢量和视点遍历序列更新状态信息，根据更新后的状态信息结合DDQN强化学习方法求解GTSP问题，得到训练后的Q网络；

S600：将训练好的Q网络迁移到实际的机器人测量任务，根据观测信息生成下一个最优视点，使用GPMP2运动规划器生成无碰撞测量路径，控制机器人运动并扫描对象，直至到达预设的终止条件，结束测量。

优选地，S100包括：