[发明专利]用于在机器人拣选时快速物体检测的系统和方法

说明书

一种用于监测电子商务平台的方法和系统。该系统包括计算设备和视觉传感器。计算设备包括处理器和存储计算机可执行代码的存储设备。计算机可执行代码在处理器处执行时，被配置为：从由视觉传感器捕获的物体的图像中提取图像关键点；取得物体的模板，其中模板包括物体的至少一个模板侧表面的模板关键点；从模板侧表面中挑选两个模板关键点，并确定分别与所挑选的两个模板关键点相匹配的两个图像关键点；基于所确定的两个图像关键点，构建物体的边界框；以及精细化边界框。

相关申请的交叉引用

在本公开的描述中引用和讨论了可以包括专利、专利申请和各种出版物的一些参考文献。提供这样的参考文献的引用和/或讨论仅是为了阐明本公开的描述，而不是承认任何这样的参考文献是本文描述的公开内容的“现有技术”。本说明书中引用和讨论的所有参考文献均以引用方式整体并入本文中，其程度如同每篇参考文献单独通过引用并入的程度相同。

技术领域

本公开总体涉及机器人拣选的操作，并且更具体地涉及用于在机器人从机器人货箱(robot bin)拣选物品期间快速物体检测的系统和方法。

背景技术

本文提供的背景技术描述是为了总体上呈现本公开的背景。在此背景技术部分描述的程度上，当前指定的发明人的工作以及描述中的在提交时可以不被描述为现有技术的方面既不明确也不暗示地被认为是针对现有技术的现有技术。

机器人货箱拣选(bin picking)是仓库自动化中的重要应用。在机器人货箱拣选系统中，需要计算机视觉系统首先在运输货箱中定位出具有库存量单位(stock keepingunit)(SKU)的物品，并且然后将每个SKU物品的位置和姿态发送给机器人控制器，使得机器人手臂可以被引导以执行从货箱拣选的动作。然而，快速精确地定位SKU物品是一个挑战。

因此，本领域存在用于解决上述缺陷和不足的尚未解决的需求。

发明内容

在某些方面中，本公开涉及一种用于从多个物体中确定目标物体的姿态的系统。在某些实施例中，系统包括计算设备和与计算设备通信的视觉传感器。计算设备具有处理器和存储计算机可执行代码的存储设备。当计算机可执行代码在处理器处执行时，被配置为：

从图像中提取图像关键点，其中，图像是通过视觉传感器对感兴趣区域捕获得到的，感兴趣区域包括多个物体，并且关键点中的每个关键点用其位置和特征描述符来定义；

取得目标物体的模板，其中，模板包括多个模板侧表面，模板侧表面中的每个模板侧表面以多个模板关键点来表征，并且模板关键点中的每个模板关键点用其位置和特征描述符来定义；

将图像关键点与模板侧表面中的每个模板侧表面中的模板关键点进行匹配；

基于图像关键点与模板侧表面中的一个模板侧表面中的模板关键点之间的匹配的数量，来选择模板侧表面中的所述一个模板侧表面；

从所选择的模板侧表面中挑选两个模板关键点，并且确定分别与所挑选的两个模板关键点匹配的两个图像关键点；

基于所确定的两个图像关键点来构建边界框，其中，边界框表示与模板的所选择的模板侧表面相对应的图像侧表面；

确定内点关键点，其中内点关键点位于边界框内部，并且在所选择的模板侧表面中具有匹配的模板关键点；

使用内点关键点精细化边界框。

基于精细化后的边界框确定目标物体的姿态。

在某些实施例中，计算机可执行代码被配置为在提取图像关键点之前定义针对图像中的物体的掩模。

在某些实施例中，计算机可执行代码被配置为执行以下步骤：选择模板侧表面中的具有大量匹配的一个模板侧表面，并且以预定次数迭代地从所选择的模板侧表面中挑选两个模板关键点。