[发明专利]基于RGB-D图像视觉显著性的物品定位方法与系统

说明书

一种基于RGB‑D图像视觉显著性的物品定位方法和系统，主要包括相机、机械臂、机械手和操作台；待抓取物品堆放在所述操作台上，所述机械臂为UR5机械臂，所述操作台为水平面板。系统初始化时，相机针对所述操作台进行校正，提供机械臂定位物品和机械手抓取物品的参考平面。首先，由相机获取操作台场景的RGB‑D图像；然后，基于RGB‑D图像计算视觉显著图，即RGB‑D图像显著图；最后，基于视觉显著图进行物品定位，提供机械臂物品操作信息。可同时生成像素级视觉显著图和显著目标位置信息，支持机械手多种操作。

技术领域

本发明涉及计算机视觉目标定位领域，特别涉及一种基于RGB-D图像视觉显著性的物品定位方法与系统。

背景技术

当场景复杂时，尤其多种物品杂乱分布，基于视觉的机械臂快速定位物品是一项具有挑战的任务。对于机械臂抓取场景物品的成功与否，与选取抓取物品顺序相关，即需要对当前场景下最适合抓取物品的种类和位置进行判断。

基于视觉感知的机械臂抓取适合一般物品堆放场景，例如物流仓库，可替代人工分拣，实现无人工厂、无人仓储等全自动化、智能化物流管理。

目前，机械臂抓取物品应用系统通常基于RGB-D相机采集场景视觉信息。基于RGB-D图像计算反馈图(affordance map)，根据反馈图定位合适操作的点。如果该反馈图没有合适的点，采用深度强化学习策略进行主动对场景物品进行试探改变场景物品空间分布，而且该过程会一直进行，直到反馈图出现合适的点，因而抓取的成功率不高。

当场景复杂时，存在物品重叠堆积、相互遮挡的情况，此时采用反馈图方法无法确认最佳定位点，则需要主动干预场景中物品的摆放顺序，即采用基于反馈图+强化学习的方法。但由于主动干预的后果需要强化学习来评估，会出现风险不可控情况，即处于无效死循环状态。所以基于反馈图进行强化学习机制的物品定位具有复杂、不可控以及计算消耗大等缺点。

因此，如何解决多种物品杂乱分布的复杂场景下的机械臂快速定位及夹取问题，即研究新的、快速的、计算消耗更小的、方便灵活的机械臂快速定位夹取方法成为亟待解决的技术问题。

发明内容

为了研究灵活、有效机制的定位方法与系统以完成快速场景物品定位。本发明提出了基于视觉显著性快速分析场景，模仿人类视觉注意机制的定位方法。基于视觉显著性分析可用于基于先验知识、规则等完成特定视觉任务。人类视觉注意机制会对场景按照显著程度快速浏览，最先注意到的区域或者目标往往与自身经验知识、特定目的相关，也与该区域或者目标在场景中相对突出程度相关，因此，如何实现基于视觉显著性的物品定位是必须克服的技术难点。针对上述技术问题，本发明提出基于语义信息计算视觉显著性的对场景物品进行排序，为机械臂抓取提供按照视觉显著值大小为依据顺序进行分布抓取。

为解决上述技术问题，根据本发明的一个方面，提供了一种基于RGB-D图像视觉显著性的物品定位方法，包括以下步骤：

步骤一、由相机获取操作台场景的RGB-D图像；

步骤二、基于RGB-D图像计算视觉显著图，即RGB-D图像显著图；

步骤三、基于视觉显著图进行物品定位，提供机械臂物品操作信息；

其中，步骤二中还包括将所述RGB-D图像进行视觉显著性检测，计算得到视觉显著图，如公式(1)所示：