[发明专利]一种基于Kinect传感器的机械臂零件图像识别抓取方法

权利要求书

1.一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于包含以下步骤：

1)根据张正友标定法对Kinect传感器的彩色相机和深度相机进行标定，获得二者的内参和畸变参数，然后使用同一场景下的多张Kinect传感器采集到的彩色图像和深度图像处理获得彩色相机和深度相机之间的配准矩阵；

2)机械臂位于工作台上方，将Kinect传感器固定于机械臂的侧方固定安装，调整工作台位置使工作台位于Kinect视场内，将二进制标记图案固定于机械臂末端，不断旋转和移动机械臂末端位置，记录多组机械臂位姿及位姿下Kinect传感器获得的图像，利用Tsai两步法求解得到手眼变换矩阵；

3)将二进制标记图案从机械臂末端取下，工作台上放置待抓取零件，通过Kinect传感器朝向待抓取零件进行采集获得点云图，将点云图预处理得到RGD图像，建立基于卷积神经网络方法的栅格化抓取位置检测模型，输入标记有已知正确抓取位置矩形区域的零件的RGD图像进行训练，用训练后的栅格化抓取位置检测模型对输入的待抓取零件的RGD图像处理，得到待抓取零件在图像中的抓取位置矩形区域及方位角；

4)根据标定得到的手眼变换矩阵利用机械臂逆解算法，将抓取位置矩形区域映射为机械臂的目标位姿和目标关节角，控制机械臂按照轨迹运动到目标位姿和目标关节角执行抓取任务。

2.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤1)获得的彩色和深度相机标定参数包括彩色相机的内参矩阵K_rgb、畸变参数D_rgb以及深度相机的内参矩阵K_d、畸变参数D_d。

3.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤1)获得的彩色图像和深度图像配准矩阵包括旋转矩阵R和平移向量T。

4.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述的二进制标记图案由四周黑色边界和内部二进制矩阵组成，主要为纯黑色方形背景和位于背景中心的特殊图像，特殊图案具体包括一个U形块、一个方块和两个条形块，条形块的尺寸为方块的两倍，方块位于U形块的开口端中间，方块和U形块之间角连接，条形块位于方块的两角处，条形块和方块之间角连接。

5.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤2)中，将二进制标记图案固定于机械臂末端之后，具体为：

2.1)调整末端位姿使二进制标记图案位于Kinect视场内居中位置，然后分别进行机械臂各种旋转和平移的三维运动，记录获得机械臂在不同三维运动位置下的多组位姿和图像；

2.2)采用以下过程处理获得二进制标记图案的图像位置；

2.2.1)将Kinect传感器获得的图像转换为灰度图像，采用局部自适应阈值法对灰度图像进行图像分割；

2.2.2)分割后的图像使用Suzuki算法进行轮廓提取，使用道格拉斯-普克(Douglas–Peucker)算法将提取得到的轮廓近似为四边形，若出现一个轮廓将另一个轮廓包围的情况，则忽略舍去被包围的轮廓；

2.2.3)通过对上一步得到的图像计算单应性矩阵，获得去除投影变换影响的修正图像，使用Ostu算法对修正图像进行阈值分割得到二值化图像，通过对二进制标记图案的黑色边界的检测剔除二值化图像中错误的轮廓，保留正确轮廓；

2.2)对于手眼标定方程采用Tsai两步法利用上面步骤获得的二进制标记图案的图像位置求解获得手眼变换矩阵。