[发明专利]一种基于双目视觉的双机械臂协作控制方法

说明书

本发明属于机器人学和计算机视觉技术领域，一种基于双目视觉的双机械臂协作控制方法，包括以下步骤：(1)安装双目视觉相机和双机械臂，(2)获得多目标物体在双目视觉相机坐标系的相对位置信息，(3)双机械臂协作设计实现，(4)计算目标物体在双机械臂坐标中的空间位置，(5)计算双机械臂的抓取姿态，(6)完成双机械臂联合动作。本发明具有以下优点：一是，相比传统的单机械臂抓取，双机械臂系统具有更大的灵活性，能够完成单机械臂完成不了的任务；二是，建立了双机械臂的模型，可有效地避免双机械臂发生碰撞；三是，抓取物体时，采用了先到达预先位置的方式，避免触碰到目标物体。

技术领域

本发明涉及一种基于双目视觉的双机械臂协作控制方法，属于机器人学和计算机视觉技术领域。

背景技术

自1961年美国研制出第一台机器人以来，机器人技术历经五十多年的发展，已经取得了长足的进步。随着机器人的相关技术日益娴熟，机器人已经渗入到各行各业中，逐渐改变着人们的生产生活方式并为世界的工业发展贡献重要的力量。

单个机器人在结构化场景的应用存在很大的局限性，己无法满足当前智能化的需求，而双臂协调系统具有负载能力强、工作效率高、工作空间大等优势，得到了国内外研究人员的广泛关注。但双臂的协调控制是相对困难的，双臂协调控制能力的高低决定了机器人智能化的程度。

计算机视觉是在图像处理的基础上发展而来的新兴领域，是一门通过研究图像或视频观察周围世界的学科。立体视觉的基本原理是通过两个或者多个视点观察同一景物并获取不同视角下的图像，利用三角测量原理计算图像像素间的位置偏差以提取三维信息。

发明内容

针对现有技术中存在的不足，本发明目的是提供一种基于双目视觉的双机械臂协作控制方法。该方法是利用两个机械手臂组成一个双臂系统，双目视觉对环境进行感知，得到多个目标的三维空间位置，驱动双机械臂完成协作。

为了实现上述发明目的，解决己有技术中存在的问题，本发明采取的技术方案是：一种基于双目视觉的双机械臂协作控制方法，包括以下步骤：

步骤1、安装双目视觉相机和双机械臂，其中双目视觉相机自上而下垂直放置，要求双目视觉相机位置与识别区域的距离为0.8-20.0m，安装双机械臂，要求双机械臂底座中心相距为0.7-0.9m，且双机械臂中心与双目视觉相机的中心位于同一平面，该平面垂直于水平面，便于标定；

步骤2、获得多目标物体在双目视觉相机坐标系的相对位置信息，具体包括以下子步骤：

(a)订阅双目视觉相机图像话题获得图像，在HSV色彩空间采用颜色特征分别识别一个用红色标识的水瓶和一个用绿色标识的水杯，取识别到的目标物体图像的中心点为测距点，该点的像素坐标为(u，v)，与深度图像进行匹配获得该点的深度信息d；

(b)获取目标物体在双目视觉相机坐标系中的三维空间位置,设目标物体在双目视觉相机坐标系中的三维空间位置为(X，Y，Z),目标点坐标(u，v)为三维坐标在成像平面的成像点，二者转换关系通过公式(1)进行描述，

式中Z_c表示子步骤(a)获得的深度信息d，f表示双目视觉相机摄像头焦距，d_x表示每个像素在x轴上的物理尺寸，d_y表示每个像素在y轴上的物理尺寸，最终获得目标物体在双目视觉相机坐标系的三维空间位置为(X，Y，Z)；

步骤3、双机械臂协作设计实现，具体包括以下子步骤：

(a)构建双机械臂URDF模型，在两个机械臂底座中点位置建立三维原点坐标系，在各自的底座位置分别建立各自的根坐标系，在模型中建立原点坐标系与各自根坐标系的位置姿态关系，然后在各自的根坐标系下按照单机械臂模型建立各关节与根坐标的关系；