[发明专利]一种机械臂轨迹智能规划算法

权利要求书

1.一种机械臂轨迹智能规划算法，其特征在于，包括以下步骤：

步骤S1：对生产环境进行建模，确定目标位置和障碍物位置；

步骤S2：基于无监督的强化学习算法做机械臂的关节空间路径规划，保证机械臂的关节空间轨迹平滑；

步骤S3：根据规划的动力学参数，得到空间下一时刻机械臂轨迹路径点；

步骤S4：通过规划器控制机械臂运动，得到新的环境状态以及动作奖励；

步骤S5：利用新的环境状态和动作奖励进行下一步的运动决策，从而得到马尔科夫决策过程；

步骤S6：控制机械臂到达目标点后停止运动。

2.根据权利要求1所述的一种机械臂轨迹智能规划算法，其特征在于：所述步骤S2中强化学习算法采用PPO算法作为基准算法，其中，使用重要性采样获得采样，使用其他分布q获得数据，来估计基于分布p的函数期望：

其中：p和q分别是测试数据分布和训练样本分布。

3.根据权利要求2所述的一种机械臂轨迹智能规划算法，其特征在于：基于离线policyπ_θ'采样的数据，训练在线policyπ_θ，在此过程中，由于π_θ'是固定的，因此可以重复使用π_θ'的数据训练π_θ多次，增加数据利用率，提高训练稳定性。

4.根据权利要求3所述的一种机械臂轨迹智能规划算法，其特征在于：采用clip的方法对θ'和θ进行采样约束：

5.根据权利要求4所述的一种机械臂轨迹智能规划算法，其特征在于：在奖励机制中加入好奇心奖励机制，提取环境中有用的信息，并对这一部分特征的探索进行奖励，使奖励变得稠密，从而提高训练效果。

6.根据权利要求1所述的一种机械臂轨迹智能规划算法，其特征在于：所述步骤S6在机械臂到达目标的任务完成后，再进一步训练智能体完成更难的任务，逐渐增加环境复杂度。