[发明专利]多源数据融合的视觉引导机器人抓取及分类系统及方法

权利要求书

1.一种多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统包括：

机器人本体(5)、3D深度相机(3)、面阵CCD(4)、周转箱(6)、订单盒(7)、控制箱(8)和机器人控制柜(9)；

所述周转箱(6)内有多个物体；

所述3D深度相机(3)位于所述周转箱(6)的正上方，周期性的对所述周转箱(6)内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱(8)；

所述控制箱(8)用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；

所述控制箱(8)将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜(9)；

所述机器人控制柜(9)根据所述物体的位姿信息引导所述机器人本体(5)抓取所述周转箱(6)内的物体；

两个所述面阵CCD(4)互成90度角放置，位于所述机器人本体(5)一侧，周期性的对被机器人本体(5)抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱(8)；

所述控制箱(8)将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜(9)；

所述机器人控制柜(9)根据所述分类结果引导所述机器人本体(5)将被抓取物体放置在相应的所述订单盒(7)中。

2.如权利要求1所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述控制箱(8)内有电脑主机、交换机和电源，所述控制箱(8)获取所述位姿信息和所述分类结果实际上由所述电脑主机完成。

3.如权利要求1所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：装置支撑架(10)；

所述装置支撑架(10)用于放置所述机器人本体(5)、所述面阵CCD(4)、所述订单盒(7)、所述3D深度相机(3)和所述周转箱(6)。

4.如权利要求3所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：摆放台(1)；

所述摆放台(1)用于放置所述装置支撑架(10)。

5.如权利要求2所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：电脑显示屏(2)；

所述电脑显示屏(2)与所述控制箱(8)连接，用于显示所述物体的灰度图。

6.一种多源数据融合的视觉引导机器人抓取及分类方法，基于权利要求1-5任一项所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类方法包括以下步骤：

所述3D深度相机(3)周期性地对所述周转箱(6)内的物体拍照，获得所述周转箱(6)内的物体的深度图和灰度图并传送至所述控制箱(8)；

所述控制箱(8)根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；

所述控制箱(8)将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜(9)，所述机器人控制柜(9)根据所述物体的位姿信息引导所述机器人本体(5)抓取所述周转箱(6)内的物体；

所述机器人本体(5)将物体抓取后，利用两个互成90度的所述面阵CCD(4)对被抓取物体进行拍照，获得被抓取物体不同角度的图像并传送至所述控制箱(8)；

所述控制箱(8)将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜(9)，所述机器人控制柜(9)根据所述分类结果引导所述机器人本体(5)将被抓取物体放置在相应的所述订单盒(7)中。