[发明专利]一种基于Kinect传感器的机械臂零件图像识别抓取方法

摘要

本发明公开了一种基于Kinect传感器的机械臂零件图像识别抓取方法。采用张正友标定法对Kinect传感器的彩色相机和红外相机进行标定和配准；对机械臂和Kinect传感器进行手眼标定，采用Tsai两步法求解获得手眼变换矩阵；将Kinect传感器获得的待抓取零件的点云图预处理得到RGD图像，预先建立基于卷积神经网络方法的栅格化抓取位置检测模型，通过输入待抓取零件的RGD图像，得到待抓取零件在图像空间的抓取位置；根据手眼变换矩矩阵和机械臂逆解算法，将图像空间的抓取位置映射为机械臂抓取位姿和关节角，控制机械臂按照执行抓取任务。本发明方法从零件RGB‑D图像中检测到可行抓取位置，速度较快，结果可靠，检测模型泛化性能较好，稳定性高。

主权项

1.一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于包含以下步骤：/n1)根据张正友标定法对Kinect传感器的彩色相机和深度相机进行标定，获得二者的内参和畸变参数，然后使用同一场景下的多张Kinect传感器采集到的彩色图像和深度图像处理获得彩色相机和深度相机之间的配准矩阵；/n2)机械臂位于工作台上方，将Kinect传感器固定于机械臂的侧方固定安装，调整工作台位置使工作台位于Kinect视场内，将二进制标记图案固定于机械臂末端，不断旋转和移动机械臂末端位置，记录多组机械臂位姿及位姿下Kinect传感器获得的图像，利用Tsai两步法求解得到手眼变换矩阵；/n3)将二进制标记图案从机械臂末端取下，工作台上放置待抓取零件，通过Kinect传感器朝向待抓取零件进行采集获得点云图，将点云图预处理得到RGD图像，建立基于卷积神经网络方法的栅格化抓取位置检测模型，输入标记有已知正确抓取位置矩形区域的零件的RGD图像进行训练，用训练后的栅格化抓取位置检测模型对输入的待抓取零件的RGD图像处理，得到待抓取零件在图像中的抓取位置矩形区域及方位角；/n4)根据标定得到的手眼变换矩阵利用机械臂逆解算法，将抓取位置矩形区域映射为机械臂的目标位姿和目标关节角，控制机械臂按照轨迹运动到目标位姿和目标关节角执行抓取任务。/n