[发明专利]一种基于ROS系统的视觉定位及机械臂抓取实现方法

摘要

本发明提出一种基于ROS系统的视觉定位及机械臂抓取实现方法，实现过程如下：首先，相机置于待抓取物体的上方或侧上方并获取被抓取物体及附属标记的图像，输入到上位机；然后在上位机上配置相机驱动，读取相机的图像并利用特定的算法进行数据处理，获取物体相对于相机和机械臂的空间坐标并给出运动规划参数值发送给下位机；最后下位机接收并解析上位机发送的运动信息，驱动机械臂按照预定动作进行执行抓取。本发明提出的基于ROS系统的单目视觉定位及机械臂抓取实现方法可以有效地利用上位机强大的处理运算能力，又容易实现机械臂及上位机的布局和多机械臂协同工作，同时采用ROS系统可以轻松实现机械臂运动规划具有广泛的应用前景。

主权项

1.一种基于ROS系统的单目视觉定位及机械臂抓取实现方法，其特征在于，包括以下步骤：步骤1：安装相机，并将所述相机连接至上位机；步骤2：配置所述相机在ROS系统下的使用环境；步骤3：所述上位机在ROS系统下进行图像处理，包括：步骤31：读取所述相机的矫正数据，并选择要采用的识别算法；步骤32：定位标记识别，给出空间位置信息；步骤33：将获得的空间位置信息传递给MoveIt模块进行运动规划；步骤4：所述上位机在ROS系统下进行机械臂运动规划；步骤5：将获得的机械臂运动信息队列传递至下位机；步骤6：所述下位机接收机械臂运动信息队列并解析，同时驱动机械臂按照规划的路径执行运动和抓取，并将机械臂的实时位姿回传至所述上位机；所述步骤2中配置相机的使用环境包括：步骤21：在ROS系统下配置USB_CAM对所述相机进行驱动，同时将所述相机采集的图像信息发布出去；步骤22：在ROS系统下对所述相机进行标定并保存矫正数据；步骤23：执行视觉标识训练；所述执行视觉标识训练的过程为：对于基于ARToolKit的特定标记识别算法，利用在线工具"Tarotaro"训练或者使用ARToolKit提供的mk_patt的离线工具进行训练；对于基于OpenCV_ArUco的识别算法，则利用drawMarker()函数进行创建和训练标识图案；所述步骤32选择的识别算法为基于ARToolKit的识别算法或基于OpenCV_ArUco的识别算法：如果选择基于ARToolKit的识别算法，程序处理过程为：读取预先导入的标识图信息，所述相机获取实时的图像，寻找可靠度最高的标识并定位相机观察到的标识，在标识上放置系统原点，添加ARToolKit 帧频计数器，利用不同帧下标识图的位置变化预估标识图空间中的位置并实时发布，同时利用OpenGL在标识图标上绘制坐标系；如果选用基于OpenCV_ArUco的识别算法，首先，获取图像中所有的可疑标识，并依次提取标识图像中的标识位；其次，利用透视变换获取标准标识图，然后利用OTSU二值化算法读取出标识位的值，并将所述标识位的值与预先训练的标识图像作比较来实现标识图识别；再次，对已识别的标识图进行空间位姿估计，并给出已识别的标识图的空间位置信息；最后，根据预先设定的相机坐标系和机械臂坐标系转换矩阵，获取带有标识图的物体相对于机械臂的空间位置信息，即所述空间位置信息。