[发明专利]一种基于强化学习的移动机械臂的协同控制方法

说明书

本发明公开了一种基于强化学习的移动机械臂的协同控制方法，基于一种深度强化学习的车‑臂协同控制框架，对车臂协同过程进行马尔科夫决策过程建模，并设计奖赏函数；进一步，基于深度确定性策略梯度算法，通过短时间的模型训练之后，可以稳定的实现机械臂末端在跟随其轨迹运动的同时，移动平台在其无碰撞的路径上独立运动，并且移动平台在其路径上的速度完全由机械臂每个时刻的状态决定，同时机械臂能够时刻保持较高的可操作度以及末端跟踪精度。

技术领域

本发明涉及控制技术领域，特别涉及一种基于强化学习的移动机械臂的协同控制方法。

背景技术

随着城市高速公路绿化的飞快发展，公路两旁的绿篱修剪任务量逐步增大，传统的绿篱修剪机械臂主要基于固定底座运动，但很多情况下机械臂需要在工作范围以外进行作业，比如园区绿篱修剪、搬运货物、大型设备的喷漆作业等，这种场景下需要机械臂末端在更大的空间范围内按照一定轨迹运动，并且底盘运动被限制在某些特定区域，在这种情况下人工控制移动机械臂会变得非常困难，且自动化程度较低。在这种情况下，开发了移动机械臂，然而传统的移动机械臂依然主要由人工操作进行作业，由于控制方法复杂，导致人工操作时对操作人员技能要求过高，且运动轨迹无法保证。而在某些场景下，例如园林绿篱修剪，以及大型设备的焊接、喷涂等场景。在这些场景下，移动机械臂的底盘和机械臂末端运动轨迹都有着特定的要求，机械臂末端需要精准的执行作业轨迹，同时移动平台需要在能够保证安全性的特定路径下运动，并且能够支持机械臂在更大范围作业。这样的要求下人工操作显然是不现实的，所以移动机械臂的自动化协同控制就变得非常重要。

移动机械臂的运动规划问题相比于移动平台和机械臂单独规划问题更为复杂，国内外目前在该领域的研究相对较少，还没有形成系统的方法，但目前的解决方案大体可分为两类：整体式规划和分级式规划。整体式规划的方法主要思想是将移动底盘与机械臂看成一个完整的系统来进行处理，这种方法一般以机械臂末端执行器的轨迹为基准，而移动平台的轨迹则需要在末端执行器轨迹的基础上，根据一定的优化准则对系统雅各比矩阵求逆运动学得到。在分离式规划中，移动机械手系统由两个子系统组成:机械手和移动平台，这两个子系统可以有两个独立的轨迹:末端执行器轨迹和移动平台安全路径。这种规划方案思路主要在于先依据任务需要规划出末端执行器带有时间特征的轨迹，然后基于环境中障碍物信息，规划出移动平台无碰撞路径，通过一定的求解方法找出末端执行器在每个时间点下对应的底盘位置。

现有研究在解决移动平台与机械臂协同控制方面取得了一定的进展，然而以下三个方面的问题依然需要解决：

1)大多数算法依赖于进化算法求最优解，求解速度相对较慢，无法满足控制的实时性。

2)在很多情况下，移动平台需要沿着特定路径运行，整体式规划无法满足移动平台跟随特定路径运动。

3)非完整约束的移动平台的路径跟踪需要满足其自身的动力学约束，通过优化求解得到的移动平台路径通常不满足非完整约束移动平台的运动学。因此，移动机械臂的车-臂路径解耦仍是一个未决问题。

发明内容

本发明的目的在于提供一种基于强化学习的移动机械臂的协同控制方法，可以使移动平台在其无碰撞的路径上独立运动，且机械臂能够时刻保持较高的可操作度以及末端跟踪精度。

为实现上述目的，本发明所述的移动机械臂包括移动平台和固定在移动平台上的机械臂，本发明提供的一种基于强化学习的移动机械臂的协同控制方法，包括：

步骤一，车臂协同的马尔科夫决策过程建模：基于马尔科夫决策过程构建车臂协同过程的马尔科夫决策过程(MDP)模型，以移动平台的速度控制模块作为智能体Agent，通过强化学习与环境进行交互训练，从动作空间中选择合适的决策值来控制移动平台的速度，同时基于奖赏函数来对t时刻的决策行为进行评价，调整出最优的策略并并且获得最高的奖赏值；