[发明专利]基于深度强化学习的人机协作流水线系统

说明书

本发明提供的一种基于深度强化学习的人机协作流水线系统通过深度学习技术，借助RRBFNN实现了机械臂预测人类伙伴施加的接触力的意图，形成在线自整定参数的阻抗控制器，以该阻抗模型为轨迹规划器作为强化学习DDPG算法的actor网络，通过DDPG算法优化机械臂任务轨迹，实现效率优化的人机协作流水线系统。同时，采用SSD网络识别具有不同的外观特征的物体，采用Sobel算子和Canny算子形成完整的物体图像边缘，并提出一种融合算法将待定抓取姿态进行融合，形成最终的抓取姿态来指导机械臂抓取物体，实现了机械臂对于不同特征的物体自主调整抓取姿态的能力。

技术领域

本发明涉及人机共融与机器人视觉领域，具体涉及一种基于深度强化学习、 接触意图识别与抓取姿态生成的人机协作与物品抓取流水线系统作业方法。

背景技术

随着工业自动化水平的不断提升，机器人在各个领域的应用也越来越普及。 相比人力劳动而言，其优势主要体现在：不会产生疲倦，面对重复性的工作不会 厌烦；动作精准，能执行更加精确的操作；工作效率更高，有效推进生产力的发 展。正因如此，机械自动化车间快速进入了各个领域，替代了其中一部分人力劳 动。

但是，机器人替代人类劳动往往局限在单一的、机械化的操作上，相比人类 而言，他们不具备思考能力，无法针对不同的环境做出相应的决策和反应，这从 很大局面上限制了它的进一步发展。因此，人工智能相关的研究得以展开，并且 伴随着越来越多的技术从问世到成熟，机器人逐渐体现出一定程度的“智慧”。 其中，强化学习、深度学习、机器人视觉等技术使得机器人的应用背景更加广阔。 强化学习通过奖励与惩罚的机制对机器人做出的决策进行评估，选取获取累计奖 励最大的决策作为最佳动作，从而优化机器人的效率。深度学习与机器人视觉结 合，使得机器人能更好的采集周围环境信息，实现与环境更好的交互。同时，通 过机器人视觉识别技术采集物体信息并提取特征，针对物体外观特征为机器人生 成合适的抓取姿态也使得机器人能主动应对更多的工作对象。

在这些背景下，“人机协作”的话题也逐渐得以展开，其中为了实现机器与 人之间更好的交互，人类动作意图推理的相关技术也得以问世，通过人与机器在 交互过程中的接触力来识别人类伙伴的动作意图从而决定机器人的动作，使得二 者实现良好的协作。

发明内容

本发明的目的是：提供一种基于深度强化学习接触意图识别与抓取姿态生成 的人机协作与物品抓取流水线系统。

为了达到上述目的，本发明的技术方案是提供了一种基于深度强化学习的人 机协作流水线系统，其特征在于，采用以下步骤搭建：

步骤一：搭建数字化流水线系统训练算法，采用搭建的数字化系统来获取数 据集，数字化系统与实际流水线系统采取1:1还原。

步骤二：搭建基于神经网络的意图预测模型；

在数字化系统中，人类协作者接触机器人的机械臂，在其末端施加一个随时 间t变化的外力f(t)，机械臂上的力传感器根据检测到的外力，产生机械臂各个 关节的控制输入来驱动末端执行器抵达目标位置，机械臂运动学定义如下式(1) 所示：

式(1)中，x(t)、及分别表示笛卡尔空间机械臂末端的位置、速度、 加速度；q＝q(t)、分别表示关节空间下各关节的位置、速度、 加速度；J(q)为雅可比矩阵；表示雅可比矩阵的一阶微分；ψ(q)表示机械 臂正运动学模型。

机械臂在关节空间下的动力学模型描述为下式(2)：

式(2)中，M(q)表示对称正定惯性矩阵；机器人学中，整体表示 科氏力和离心力；G(q)表示重力；τ表示控制输入的向量；

人机交互发生在末端执行器附近，将式(1)代入式(2)，得到机械臂在笛 卡尔空间下的动力学模型如下式(3)所示：