[发明专利]基于双目视觉的位姿识别与抓取的装置与方法

权利要求书

1.一种基于双目视觉的位姿识别与抓取的装置，其特征在于，包括工件传送模块、图像采集模块和目标工件抓取模块；

工件传送模块包括带式传送机(9)、带式传送机电机驱动装置(4)和接近传感器(8)，带式传送机(9)上安装有用于传送目标工件(10)的传送带，位于传送带一侧的带式传送机(9)机架上安装有接近传感器(8)；

图像采集模块包括工业相机(2)、相机支架(3)、条形光源(5)和双目相机夹具(11)，位于传送带两侧的带式传送机(9)机架上固定有相机支架(3)，相机支架(3)两侧之间安装有双目相机夹具(11)，双目相机夹具(11)的导轨上滑动安装有两个工业相机(2)，两个工业相机(2)用于拍摄经过接近传感器(8)的目标工件(10)，两个工业相机(2)分别为左相机和右相机；相机支架(3)两侧底部安装有对称布置的两个条形光源(5)；接近传感器(8)靠近相机支架(3)布置；

目标工件抓取模块包括四轴机械手(1)和控制柜(7)，控制柜(7)位于带式传送机(9)一侧且高度与传送带高度一致；四轴机械手(1)通过其底座固定于控制柜上。

2.采用权利要求1所述装置的一种基于双目视觉的位姿识别与抓取的方法，其特征在于，包括以下步骤：

步骤一：调整工业相机(2)的高度、拍摄角度和两个工业相机(2)之间的距离，使得目标工件(10)位于工业相机(2)的焦距范围内；

步骤二：根据张正友标定法对左右相机进行双目标定获得相机的内外参数矩阵，根据参数矩阵对左右相机进行立体校正后得到校正映射图；

步骤三：对四轴机械手(1)和工业相机(2)选择手到眼(Eye-To-Hand)的手眼标定模式进行手眼标定，获得相机坐标系相对于机械手坐标系的位姿转换关系；

其中，相机坐标系由工业相机的左相机为原点建立得到，机械手坐标系由四轴机械手(1)底座为原点建立得到；

步骤四：待抓取的目标工件(10)通过带式传送机(9)传送至双目相机下方位置，且接近传感器(8)接收到目标工件(10)的信号时，带式传送机电机驱动装置(4)停止带式传送机(9)的工作；

步骤五：左右相机拍摄经过接近传感器(8)的目标工件(10)的图像，并将拍摄到的目标工件图像传输至计算机；

步骤六：利用步骤一获取的校正映射图对左右相机采集的目标工件图像进行校正，然后对图像依次进行图像分割、灰度变换、中值滤波和边缘检测的预处理；

步骤七：利用NCC相似性度量算法对步骤六预处理后的图像进行立体匹配，通过双目立体视觉的金字塔模型寻找匹配点，将所有匹配点坐标集合后形成的点云图像构成深度图，对深度图进行平均深度计算从而得到目标工件(10)在相机坐标系下的三维坐标；

步骤八：基于Halcon对目标工件(10)进行姿态估计得到目标工件(10)的姿态信息Q；

步骤九：已知四轴机械手(1)末端执行器的初始位置和初始姿态，采用笛卡尔位置控制模式进行轨迹规划，笛卡尔位置控制模式根据目标工件(12)相对于末端执行器的方位角和目标工件(12)的三维坐标进行轨迹规划，四轴机械手(1)末端执行器根据规划的轨迹从初始位置移动至目标工件(10)附近，且移动过程中使末端执行器始终指向目标工件(10)；

步骤十：四轴机械手(1)末端执行器离目标工件(10)缓冲距离为d时调整四轴机械手(1)末端执行器的姿态信息，然后以渐进的方式靠近目标工件(10)完成抓取；

步骤十一：四轴机械手(1)抓取到目标工件(10)时，四轴机械手(1)先抓取目标工件(10)沿机械手坐标系的Z轴向上移动设定距离H，之后四轴机械手(1)控制末端执行器移动至初始位置，然后对姿态信息Q和末端执行器在初始状态的姿态信息进行逆运动求解后将机械手末端执行器调整回末端执行器的初始姿态，此时目标工件(10)完成初始姿态至中间姿态的转移过程；

步骤十二：四轴机械手(1)继续抓取目标工件(10)至目标堆放台(6)，目标工件(10)处于结束姿态。