[发明专利]一种基于多模信息描述的柔性装配系统及方法

说明书

本发明公开了一种基于多模信息描述的柔性装配系统及方法，包括：在机械臂末端零部件与待装配零部件未接触阶段，通过视觉引导将机械臂快速定位在目标位置附近，实现视觉引导粗定位；当机械臂末端零部件与待装配零部件接触后，借助力觉信息和机械臂自身的参数，形成装配状态的多模信息描述，基于深度强化学习方法进行姿态调整，实现装配零部件的力觉调姿精装配。本公开的实施例子有效解决人工效率不高等问题；机械臂主动适应环境的变化；采用视觉图像、力/力矩信息和机械臂参数等多模信息完整描述装配过程。

技术领域

本公开涉及机器装配技术领域，特别是涉及一种基于多模信息描述的柔性装配系统及方法。

背景技术

在工业生产的复杂作业过程中，装配工艺是比较复杂的，人的视觉、触觉等感觉通过大脑智慧的引导，在装配过程中得到了充分发挥。在机器人装配过程中，单一的图像模态信息不能完全表达装配作业的动态过程，且当装配对象相互接触时，出现目标遮挡问题。

针对单一模态信息对装配过程表达能力不足的问题，亟需结合视觉、力觉以及机械臂自身的参数信息构建一套智能柔性装配系统。

发明内容

为了解决现有技术的不足，本公开的实施例子提供了一种基于多模信息描述的柔性装配系统，能够实现视觉引导粗定位和力觉调姿精装配。

为了实现上述目的，本申请采用以下技术方案：

一种基于多模信息描述的柔性装配方法，包括：

在机械臂末端零部件与待装配零部件未接触阶段，通过视觉引导将机械臂快速定位在目标位置附近，实现视觉引导粗定位；

当机械臂末端零部件与待装配零部件接触后，借助力觉信息和机械臂自身的参数，形成装配状态的多模信息描述，基于深度强化学习方法进行姿态调整，实现装配零部件的力觉感知精装配。

进一步的技术方案，在机械臂末端零部件与待装配零部件未接触阶段，通过相机采集装配零部件的图像，进行图像特征提取并进行目标位姿解算，根据解算的位姿引导机械臂至装配零部件附近。

进一步的技术方案，根据机械臂末端夹具上的上力传感器信息判断机械臂末端零部件与待装配零部件是否接触。

进一步的技术方案，通过机械臂的关节传感器采集装配过程中的关节角度及角速度，并根据机械臂正运动学解算出末端执行器位姿,以及装配零部件接触时的力/力矩信息，构建包含关节角度及角速度、位姿、力/力矩信息的装配状态矩阵。

进一步的技术方案，将装配状态矩阵输入到已经训练好的深度强化学习模型进行姿态调整，其中，建立深度强化学习模型，包括：

构建基于深度强化学习的网络模型，策略网络和Q值网络结构均采用三层全连接网络，激活函数设为sigmoid函数；

建立装配质量评价回报函数；

训练建立好的网络模型，在训练建立好的网络模型时，基于装配质量评价回报函数，采用反向传播算法求解当前策略网络的梯度，获得状态-动作Q值；

测试训练好的网络模型，根据当前装配状态进行机械臂动作调整，直至装配成功；

保存网络模型。

进一步的技术方案，所述装配质量评价回报函数

其中，f_z为z轴受力，f₀为阻尼阈值，l为装配深度，z₀为初始位置距装配目标表面的距离，z表示z轴上的位移距离；

则T时间段内的累积回报为