[发明专利]用于对物品定位、识别和计数的系统和方法

说明书

一种用于构建产品库而不需要货架图的系统包括被操作来提供物品的图像的图像捕获单元。从货架标签检测器和深度图创建单元获取数据，处理模块可用于将检测到的货架标签与深度图进行比较，限定产品边界框，并使边界框与由图像捕获单元提供的图像相关联以构建图像描述符。该系统可以包括用于支撑和移动图像捕获单元和其他组件的一个或更多个自主机器人。

相关专利申请的交叉引用

本公开是要求2016年3月29日提交的美国专利申请号62/314,785“System andMethod for Locating,Identifying and Counting Products on Shelves”和2016年11月29日提交的美国专利申请号62/427,509“System and Method for Locating,Identifyingand Counting Items”的优先权利益的非临时专利申请的部分。

技术领域

本公开总体上涉及一种能够准确地监控零售或仓库产品库存而不需要初始货架图的多摄像头传感器套件。在某些实施例中，多摄像头传感器套件可以安装在自主机器人上，并且包括板载处理以提供接近实时的产品跟踪。

背景

零售店或仓库可以有常常被出售、移除、添加或重新定位的成千个不同的产品。即使使用频繁补进存货计划，被假定为有库存的产品也可能无库存，降低了销售和消费者满意度。销售点数据可用于粗略估计产品可获得性，但无助于识别错放、被盗或损坏的产品，所有这些都可能降低产品可获得性。然而，手动监控产品库存和跟踪产品位置是昂贵和耗时的。

一种用于跟踪产品库存的解决方案依赖于货架图(显示具体产品在货架或展示台上应该如何放置以及放置在哪里的列表或图表)与机器视觉技术的结合。给定货架图，机器视觉可以用来帮助货架空间依从性。例如，大量的固定位置摄像头可以在整个商店中用于监控过道，其中货架空间中的大空隙是对照货架图或货架标签可检查的，且如果必要，可以被标记为“无库存”。可选地，可以使用较少数量的可移动摄像头来扫描商店过道。即使使用这样的系统，通常也需要人工干预来构建初始货架图，该货架图包括与可以包括产品标识、放置和计数的边界框相关的详细信息。还可能需要大量人工干预来更新货架图以及搜索错放的产品库存。

概述

一种用于产品或其他库存监控的低成本、准确且可扩展的摄像头系统可以包括可移动基座。由可移动基座支撑的多个摄像头可定向到货架或其他用于容纳产品或库存的系统。处理模块连接到多个摄像头，并且能够从摄像头得到的图像构建产品或库存位置的可更新图。

在一些实施例中，所描述的用于库存监控的摄像头系统可用于检测货架标签；可选地，将货架标签与深度图进行比较；限定产品边界框；将边界框与货架标签相关联以构建训练数据集；以及使用训练数据集来训练产品分类器。

在其他实施例中，用于构建产品库的系统可以包括被操作来提供物品的图像的图像捕获单元。该系统还包括货架标签检测器(其可以是高分辨率可变焦摄像头)和可选地包括深度图创建单元(其可以通过激光扫描、飞行时间范围感测或立体成像来提供)，可选地将检测到的货架标签与深度图进行比较、限定产品边界框以及将边界框与货架标签相关联以构建训练数据集或学习图像描述符的处理模块。图像捕获单元和处理模块都可以安装在自主机器人上。