[发明专利]多源数据融合的视觉引导机器人抓取及分类系统及方法

说明书

本发明提供了一种多源数据融合的视觉引导机器人抓取及分类系统及方法，该系统包括：机器人本体、3D深度相机、面阵CCD、周转箱和订单盒；该方法具体步骤包括：3D深度相机周期性的对周转箱内的多个物体拍照，获得多个物体的灰度图和深度图；两个面阵CCD互成90度角放置，周期性的对被机器人本体抓取的物体拍照，获得被抓取物体不同角度的图像；机器人本体位于所述周转箱的一侧，根据多个物体的灰度图和深度图对周转箱内的多个物体进行抓取，并根据被抓取物体不同角度的图像对被抓取物体进行分类，并放置到相应的订单盒中。本发明设计合理，功能齐全，使用方便可靠，准确率高，可实现对周转箱这类场景中物品的准确抓取和分类。

技术领域

本发明涉及机器视觉及机器人技术领域，尤其涉及一种多源数据融合的视觉引导机器人抓取及分类系统及方法。

背景技术

物流周转箱的分拣和搬运是物流领域中非常重要的一环，在分拣的过程中需要对杂乱堆叠的物体的搬运和分类放置。传统的分拣方法为人工操作，随着网络在线购物和物流领域的发展，人工分拣消耗的人力资源大、成本高，不仅如此，长期的工作会造成人眼和身体的疲劳，不仅影响分拣的效率和准确率，还对人身有一定的损害。因此，如何减少人力成本，同时也要保证物体分拣的中抓取和分类准确率是亟待解决的技术问题。

发明内容

本发明提供一种多源数据融合的视觉引导机器人抓取及分类系统及方法，旨在解决减少人力成本，同时也要保证物体分拣的中抓取和分类准确率的技术问题。

为实现上述目的，本发明提供了一种多源数据融合的视觉引导机器人抓取及分类系统，所述多源数据融合的视觉引导机器人抓取及分类系统包括：

机器人本体、3D深度相机、面阵CCD、周转箱、订单盒、控制箱和机器人控制柜；

所述周转箱内有多个待分类物体；

所述3D深度相机位于所述周转箱的正上方，周期性的对所述周转箱内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱；

所述控制箱用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；

所述控制箱将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜；

所述机器人控制柜根据所述物体的位姿信息引导所述机器人本体抓取所述周转箱内的物体；

两个所述面阵CCD互成90度角放置，位于所述机器人本体一侧，周期性的对被机器人本体抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱；

所述控制箱将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜；

所述机器人控制柜根据所述分类结果引导所述机器人本体将被抓取物体放置在相应的所述订单盒中。

优选地，所述控制箱内有电脑主机、交换机和电源，所述控制箱获取所述位姿信息和所述分类结果实际上由所述电脑主机完成。

优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：装置支撑架；

所述装置支撑架用于放置所述机器人本体、所述面阵CCD、所述订单盒、所述3D深度相机和所述周转箱。

优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：摆放台；

所述摆放台用于放置所述支撑架。

优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：电脑显示屏；

所述电脑显示屏与所述控制箱连接，用于显示所述物体的灰度图。