[发明专利]一种机械臂轨迹智能规划算法

说明书

一种机械臂轨迹智能规划算法，包括以下步骤：给定机械臂初始点，终止点和约束条件。对生产环境进行建模，然后通过强化学习算法，训练agent进行决策，输出每个关节的速度规划路径，控制机械臂达到目标点。本发明克服了现有技术的不足，通过好奇心驱动学习的方法提高了算法的探索能力，从而提高鲁棒性，避免陷入局部最优；同时逐步增加任务难度，使算法可以适应复杂场景的避障路径规划；在保证了机械臂运动规划的平滑性、转动过程平稳的前提下，实现了自动部署。

技术领域

本发明涉及机械臂轨迹规划的技术领域，具体涉及一种机械臂轨迹智能规划算法。

背景技术

在机械臂的工业生产中，传统机械臂算法需要工程师花费时间调试校准，机械臂在运动中做到精准、平稳的轨迹规划至关重要。然而，生产模具的每一次轻微调整和生产场景的变化，都需要工程师重新调试，这样就需要花费大量的人力和时间成本。随着生产现场场景的复杂度增加或者生产模型的种类增多，调试轨迹的时间还会大幅增加。对企业的人力成本和时间成本有着很大的影响。

因此，设计一个自动适应不同生产模型和根据环境自动调整规划路径的算法，在减少企业生产成本上显得尤为重要。

发明内容

针对现有技术的不足，本发明提供了一种机械臂轨迹智能规划算法，克服了现有技术的不足，设计合理，通过好奇心驱动学习的方法提高了算法的探索能力，从而提高鲁棒性，避免陷入局部最优；同时通过课程学习逐步增加任务难度，使算法可以适应复杂场景的避障路径规划；在保证了机械臂运动规划的平滑性、转动过程平稳的前提下，实现了自动部署。

为实现以上目的，本发明通过以下技术方案予以实现：

一种机械臂轨迹智能规划算法，包括以下步骤：

步骤S1：对生产环境进行建模，确定目标位置和障碍物位置；

步骤S2：基于无监督的强化学习算法做机械臂的关节空间路径规划，保证机械臂的关节空间轨迹平滑；

步骤S3：根据规划的动力学参数，得到空间下一时刻机械臂轨迹路径点；

步骤S4：通过规划器控制机械臂运动，得到新的环境状态以及动作奖励；

步骤S5：利用新的环境状态和动作奖励进行下一步的运动决策，从而得到马尔科夫决策过程；

步骤S6：控制机械臂到达目标点后停止运动。

所述步骤S2中强化学习算法采用PPO算法作为基准算法，其中，使用重要性采样获得采样，使用其他分布q获得数据，来估计基于分布p的函数期望：

其中：p和q分别是测试数据分布和训练样本分布。

基于离线policyπ_θ'采样的数据，训练在线policyπ_θ，在此过程中，由于π_θ'是固定的，因此可以重复使用π_θ'的数据训练π_θ多次，增加数据利用率，提高训练稳定性。

优选地，采用clip的方法对θ'和θ进行采样约束：

在奖励机制中加入好奇心(Curiosity)奖励机制，提取环境中有用的信息，并对这一部分特征的探索进行奖励，使奖励变得稠密，从而提高训练效果。

所述步骤S6在机械臂到达目标的任务完成后，再进一步训练智能体完成更难的任务，在环境中加入障碍物。