[发明专利]一种基于Kinect传感器的机械臂零件图像识别抓取方法

说明书

本发明公开了一种基于Kinect传感器的机械臂零件图像识别抓取方法。采用张正友标定法对Kinect传感器的彩色相机和红外相机进行标定和配准；对机械臂和Kinect传感器进行手眼标定，采用Tsai两步法求解获得手眼变换矩阵；将Kinect传感器获得的待抓取零件的点云图预处理得到RGD图像，预先建立基于卷积神经网络方法的栅格化抓取位置检测模型，通过输入待抓取零件的RGD图像，得到待抓取零件在图像空间的抓取位置；根据手眼变换矩矩阵和机械臂逆解算法，将图像空间的抓取位置映射为机械臂抓取位姿和关节角，控制机械臂按照执行抓取任务。本发明方法从零件RGB‑D图像中检测到可行抓取位置，速度较快，结果可靠，检测模型泛化性能较好，稳定性高。

技术领域

本发明属于工业机器人领域，涉及了一种基于卷积神经网络的零件抓取位置图像检测模型，开发了基于Kinect传感器的机械臂图像处理的抓取方法。

背景技术

随着机械制造数字化、智能化的发展，工业机器人已经成为工程机械、电子电器、汽车产业等行业自动化生产线的主流装备。作为工业机器人使用最广的装备形式，机械臂是由一系列连杆通过关节联结形成的机械结构，可以根据指令，依靠自身动力和控制能力实现各种功能。机械臂通常具有3个或以上的自由度，可分为臂、腕、末端执行器三部分，末端执行器根据面向的工作环境和任务类型选配，臂和腕负责满足末端执行器的定位、定向需求。随着制造业的转型升级，机械臂在装配、喷涂、焊接、分拣等方面应用越来越广泛，具有灵活、高速、精确、能在复杂工况下稳定工作的特点。

抓取是机械臂完成装配、分拣、码垛等任务中的关键操作步骤。传统的抓取作业多采用人工示教的方法进行，人根据自身先验知识对物体的可抓取位置进行判断，随后操作机械臂到达指定示教点，编写示教程序使机械臂可以自动执行任务。这种方式下，机械臂自身不具备感知能力，无法应对不确定因素，程序只能应用于单一物体，操作效率低，可重用性差。

当前视觉感知设备的制造水平不断提高，相关算法研究不断深入，视觉系统在机器人产业中的应用日益增多。机器人视觉系统融合机械、计算机、控制等多个领域，涉及伺服控制、图像处理、多传感器融合等多种软硬件技术，能够有效拓展机器人感知能力，大幅提高机器人自动化、智能化水平。而对于基于视觉的机械臂抓取任务，目前多采用人工设计、提取图像特征的方法，针对的目标物体和操作环境较为单一，实际场景下容易受到目标物摆放位置、姿态、物理性质，图像拍摄角度，外界光照变化等不确定性因素的影响，算法鲁棒性差且不易重复利用。

发明内容

为了解决背景技术中存在的问题，本发明提出一种基于Kinect传感器的机械臂零件图像识别抓取方法，能够有效检测工作区域内零件抓取位置，控制机械臂执行抓取任务，方案简单实用，检测速度较快，抓取成功率高。

本发明具有高效、准确、鲁棒性好的特点，对于提高机械臂工作效率、降低生产成本和风险具有重要意义。

为了实现上述目的，本发明采用的技术方案是包括以下步骤：

1)根据张正友标定法对Kinect传感器的彩色相机和深度相机进行标定，获得二者的内参和畸变参数，然后使用同一场景下的多张Kinect传感器采集到的彩色图像和深度图像处理获得彩色相机和深度相机之间的配准矩阵；

Kinect传感器采集获得RGB-D图像，RGB-D图像由彩色图像和深度图像构成。

2)机械臂位于工作台上方，将Kinect传感器固定于机械臂的侧方固定安装，Kinect传感器不与机械臂连接，调整工作台位置使工作台位于Kinect视场内，Kinect传感器朝向工作台拍摄，将二进制标记图案固定于机械臂末端，不断旋转和移动机械臂末端位置，记录多组机械臂位姿及位姿下Kinect传感器获得的图像，利用Tsai两步法求解得到手眼变换矩阵；