[发明专利]一种基于单目视觉的无人便利柜自动购物结算系统及方法

说明书

本发明涉及一种基于单目视觉的无人便利柜自动购物结算系统及方法，其中系统包括数据管理中枢模块、深度学习跟踪模块和结算分析模块，所述数据管理中枢模块，利用无人便利柜中的单目视觉摄像头获取用户消费过程中朝外视角的视频数据，存储该视频数据并开放API视频接口；所述深度学习跟踪模块，通过API视频接口利用视频数据完成无人便利柜场景下商品检测及轨迹跟踪；所述结算分析模块，通过深度学习跟踪模块数据接口获取商品运动轨迹，并根据商品运动轨迹进行分析和结算。

技术领域

本发明涉及无人便利柜的技术领域，具体涉及一种基于单目视觉的无人便利柜自动购物结算系统及方法。

背景技术

近年来，传统电商平台是通过网络提供商品或服务的一种交易平台，用户和商家在该平台上进行销售和购买。电子商务平台是建立在Internet网上进行商务活动的虚拟网络空间和保障商务顺利运营的管理环境；是协调、整合信息流、货物流、资金流有序、关联、高效流动的重要场所。企业、商家可充分利用电子商务平台提供的网络基础设施、支付平台、安全平台、管理平台等共享资源有效地、低成本地开展自己的商业活动。虽然对用户来说，这种传统的方式，在购买成本和购买物品便捷性上为用户提供了很大的便利，但这种方式需要远距离运输，用户使用往往需要等待一段时间，无法即时满足用户购物的需求。因而，传统网购购物的电商方式在发展过程中遇到一定困境，无法满足用户快速购买的需求。

为突破传统瓶颈，电商企业提出新型零售模式，旨在打破传统线上线下壁垒，营造真实消费场景，提升消费者购物体验，改善消费者在线上购物时无法直观真实获知商品外观及质量等问题，需要进行改进。而其中的无人零售模式中的无人便利柜具有成本低、零售网点布局范围广的优势，成为“新零售”布局中的组成部分之一，无需购物过程中的额外人工零售成本，用户自助完成购物，可快速拿到购买的物品。由此，市场中涌现大量无人便利柜的实际需求。但无人便利柜还需要解决机器如何自主感知消费者的购买行为的问题。

传统解决无人便利柜消费者主要采用的是非视觉手段：利用射频识别的方式需要在每件商品上粘贴射频标签，造成额外标签成本和人工成本；利用重力感应器的方式则无法分辨质量相近的商品，相对识别精度较低。而现有一种基于单目视觉的无人便利柜，主要采用静态方法在无人便利柜每层顶部设置摄像头，通过检测用户消费后柜内商品剩余含量完成结算，但实际应用中可能无法保证柜内商品整齐摆放，会造成一定漏检和误检。因此，传统的无人购物实现运行还是具有一定缺陷的。

发明内容

为了实现以上目的，解决无标签工业时序数据的特征学习问题，本发明提供了一种基于单目视觉的无人便利柜自动购物结算方法，通过分析无人便利柜场景下消费者购物行为视频，构建完整的无人便利柜自动购物结算系统，采用单目视觉的结算方法只需部署摄像头，低成本且能够达到对物品准确的识别精度，基于现状，解决了无人便利柜的自动购物结算问题。

本发明采用以下技术方案：一种基于单目视觉的无人便利柜自动购物结算系统，包括数据管理中枢模块、深度学习跟踪模块和结算分析模块，

所述数据管理中枢模块，利用无人便利柜中的单目视觉摄像头获取用户消费过程中朝外视角的视频数据，存储该视频数据并开放API视频接口；

所述深度学习跟踪模块，通过API视频接口利用视频数据完成无人便利柜场景下商品检测及轨迹跟踪；

所述结算分析模块，通过深度学习跟踪模块数据接口获取商品运动轨迹，并根据商品运动轨迹进行分析和结算。

进一步的，所述数据管理中枢模块根据视频数据按每个消费流程划分并分别存储。这里是指每次消费算作一次消费流程，对应采集到的原始视频数据存储在数据管理中枢模块中。

进一步的，所述深度学习跟踪模块中使用视频标注数据集训练深度学习目标检测及深度特征提取模型，利用API视频接口调用视频数据完成多目标商品跟踪。

更进一步的，所述标注数据集中，采用数据标注工具对视频数据标注，再采用检测工具复检所述标注的视频数据。