[发明专利]基于3D视觉的机器人自动抓取系统及方法

说明书

本发明公开了一种基于3D视觉的机器人自动抓取系统及方法，包括抓取机器人向工控机发送请求数据指令，工控机接收请求数据指令判断是否缓存有处理结果，有则返回处理结果至抓取机器人，没有则控制3D相机拍照；工控机接收到抓取机器人的拍照指令则控制3D相机拍照；工控机接收原始三维点云数据，判断是否拍到目标零件；若拍到目标零件则基于原始三维点云数据，再进行点云处理计算得到零件空间位姿数据和状态信息，并缓存为处理结果；若未拍到目标零件则判断零件是否全部抓取完成，得到零件空间位姿数据和状态信息，并缓存为处理结果；抓取机器人根据处理结果，抓取零件、输出拍照指令和更换料框指令。本发明具有抓取成功率高和节拍快的优点。

技术领域

本发明涉及工业机器人、机器视觉技术领域，尤其涉及一种基于3D视觉的机器人自动抓取系统及方法。

背景技术

传统的机器人应用是通过示教器来控制机器人完成预定的指令动作，但当机器人工作环境和工作任务发生改变时，机器人往往无法迅速适应这些变化，极大限制了工业机器人应用场景和应用效率。

随着机器视觉技术的发展，机器视觉技术逐渐应用到工业场景中。然而传统的二维视觉只能应用于平面物体的识别和定位，无法应对零件的倾斜、翻转等三维场景。

3D相机能够获取物体空间点云坐标，弥补传统二维视觉的不足，但三维点云数据量大，处理复杂，以及与机器人复杂的通讯逻辑，大大的限制了3D视觉的应用。例如：申请号为CN202010273493.1的中国发明专利“基于3D视觉与深度学习的智能搬运机械臂系统及使用方法”提供了一种基于3D视觉与深度学习的智能搬运机械臂系统，包括视觉检测模块、训练学习模块、运动规划模块以及控制模块。但该方法采用双目深度摄像头和RGB相机，并非直接采用三维点云数据，且基于深度学习的方法鲁棒性不高；申请号为CN202011256951.7的中国发明专利“一种基于3D视觉的机器人全自动无序上料系统”基于3D视觉的机器人全自动无序上料系统，包括上料装置、下料装置、摄影装置、活动机械手和中控系统。但该方法需预先采集物料的种类及其空间六面特征，操作繁琐，效率不高。

因而，亟需解决上述问题。

发明内容

发明目的：本发明的第一目的是提供一种基于3D视觉的机器人自动抓取方法，该自动抓取方法具有抓取成功率高且具有节拍快和效率高的优点。

本发明的第二目的是提供一种基于3D视觉的机器人自动抓取系统，该自动抓取系统具有抓取成功率高且具有节拍快和效率高的优点。

技术方案：为实现以上目的，本发明公开了一种基于3D视觉的机器人自动抓取方法，包括如下步骤：

抓取机器人向工控机发送请求数据指令，工控机接收抓取机器人的请求数据指令，工控机判断是否缓存有处理结果，有则返回处理结果至抓取机器人，没有则控制3D相机拍照；工控机接收到抓取机器人的拍照指令时控制3D相机拍照；工控机接收3D相机返回的原始三维点云数据，基于原始三维点云数据，判断是否拍到目标零件，并输出判断结果；若拍到目标零件则基于目标零件的原始三维点云数据，再进行点云处理计算得到零件空间位姿数据和状态信息，并缓存为处理结果；若未拍到目标零件则另外判断零件是否全部抓取完成，得到零件空间位姿数据和状态信息，并缓存为处理结果；抓取机器人接收工控机返回的处理结果，根据处理结果，调整抓取点坐标与抓取角度并抓取零件、输出拍照指令和更换料框指令。

其中，若拍到目标零件，抓取机器人根据处理结果调整抓取点坐标与抓取角度并抓取零件，并向工控机发送拍照指令，然后抓取机器人将零件放置于工装板上；

若未拍到目标零件且未全部抓取完成，抓取机器人根据处理结果向工控机发送拍照指令；

若未拍到目标零件且全部抓取完成，抓取机器人根据处理结果向上料机器人发送更换料框指令。

优选的，判断是否拍到目标零件的具体方法为：