[发明专利]商品取放识别装置及商品取放识别方法

说明书

本发明提供一种商品取放识别装置及商品取放识别方法，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，商品取放识别装置包括：商品解析部，从取放视频的帧图像中解析出每一帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定部，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成部，将每个帧图像中同一待售商品的位置信息连接形成商品移动轨迹；以及取放判定部，至少根据商品移动轨迹判定待售商品是否被用户取放。

技术领域

本发明属于智能售货领域，涉及智能售货柜，具体涉及一种商品取放识别装置及方法。

背景技术

智能售货柜是商业自动化的常用设备，可以布置在商场、超市、等位置，为来往的用户提供零售服务。动态图像柜是一种常见的智能售货柜，能够通过对摄像头拍摄视频来识别出被用户取出的商品，其具有生产、维护成本低、以及内部空间利用率高等特点。

然而，目前市面上的动态图像柜仍然存在很多不足，主要问题在于识别精度低，难以准确地判断视频帧中识别出的商品是否确为被用户取放的待售商品，因此容易导致商品的结算出错，往往需要依靠人工配合审单。这不仅极大地影响了用户的购物体验，而且还提升了人员管理的成本。

为了提升动态图像柜的识别准确率，现有的商品识别方法(专利201910923841.2)通过先从视频中识别出手持商品，然后对手持商品进行识别以及分类从而确定被用户拿去的待售商品。但这种方法依然存在不足：一是当用户佩戴手套、或手被衣物遮挡时就无法正确识别；二是容易将客户自带的商品错误地识别为待售商品。

除了上述这类方法之外，现有各种商品识别方法的识别精度低的主要原因普遍在于：商品被取放的过程中状态可能会发生较大的变化，如商品与摄像头的角度或者距离发生变化时，商品的面积、长宽高都会发生较大变化，进而导致识别失败。

发明内容

为解决上述问题，提供一种能够判定出视频的各个帧图像中各个被识别出的商品轮廓之间的对应关系，从而实现商品移动轨迹以及取放状态的准确识别的商品取放识别装置及方法，本发明采用了如下技术方案：

结构一

本发明提供了一种商品取放识别装置，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括：帧图像分解部，将取放视频分解为多个帧图像；商品解析部，分别从每一个帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定部，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成部，将每个帧图像中同一待售商品的位置信息按照时间顺序连接形成待售商品的商品移动轨迹；以及取放判定部，至少根据商品移动轨迹判定待售商品是否被用户取放。

结构二

本发明还提供了一种商品取放识别方法，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括以下步骤：帧图像分解步骤，将取放视频分解为多个帧图像；商品解析步骤，分别从每一个帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定步骤，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成步骤，将每个帧图像中同一待售商品的位置信息按照时间顺序连接形成待售商品的商品移动轨迹；取放判定步骤，至少根据商品移动轨迹判定待售商品是否被用户取放。

发明作用与效果