[发明专利]基于深度学习与眼神跟踪的无人超市售货系统及售货方法

说明书

本发明公开了一种基于深度学习与眼神跟踪的无人超市售货系统，包括:设置在无人超市入口的双目摄像头与虹膜摄像头，超市内部设有货架，货架的顶点设有摄像头A；货架上从上至下设有至少两排置物板，置物板的底部设有重力传感器；货架的每行置物架上分别均设有摄像头B和摄像头C；货架的一端设有人机交互模块；双目摄像头、虹膜摄像头、摄像头A、摄像头B、摄像头C及重力传感器均连接后台上位机。本发明还公开了一种基于深度学习与眼神跟踪的无人超市售货系统的售货方法，本发明解决了目前存在的排队买单造成的结账效率低下，使用电子标签造成的商品成本增加，以及消费者因无法使用手机而限制购物的问题。

技术领域

本发明属于无人超市智能货架技术领域，涉及一种基于深度学习与眼神跟踪的无人超市售货系统，本发明还涉及上述售货系统的售货方法。

背景技术

天猫无人超市的出现，改变了传统超市采用收银台收银的付款方式，虽然降低了人力劳动成本，但并没有改变顾客排队结账的本质。

无人超市中销售的商品需要电子标签，而许多厂家在生产商品时，只提供了条形印刷码，并未提供射频识别标签。商品在进入销售环节之前，需要商家黏贴RFID标签。这就造成了商家需要花费大量人力成本和时间成本给每件商品黏贴电子标签，且电子标签本身也需要购买，无形中会增加商品销售价格。

现有的无人超市都需要手机扫码进入，而人们在忘记带手机或者手机没电关机时，就无法进入购物，这样不仅会降低销售成单率，也使购物有一定的限制。虹膜特征具有唯一性，同时也决定了身份识别的唯一性，且虹膜特征基本不会随着人年龄的增长而发生变化。因此，采用虹膜识别技术代替手机扫码进入超市更便捷。

发明内容

本发明的目的是提供一种基于深度学习与眼神跟踪的无人超市售货系统，解决了目前存在的排队买单造成的结账效率低下，使用电子标签造成的商品成本增加，以及消费者因无法使用手机而限制购物的问题。

本发明的目的是还提供一种基于深度学习与眼神跟踪的无人超市售货方法。

本发明所采用的第一种技术方案是，基于深度学习与眼神跟踪的无人超市售货系统，包括:

设置在无人超市入口的双目摄像头与虹膜摄像头，无人超市内部设有货架，货架的顶点设有摄像头A；

货架上从上至下设有至少两排置物板，置物板的底部设有重力传感器；

货架的每行置物架上分别均设有摄像头B和摄像头C；

货架的一端设有人机交互模块；

双目摄像头、虹膜摄像头、摄像头A、摄像头B、摄像头C及重力传感器均连接后台上位机。

本发明第一种技术方案的特点还在于：

人机交互模块包括电子广告屏、语音模块及补货提醒模块。

本发明采用的第二种技术方案是，基于深度学习与眼神跟踪的无人超市售货系统的售货方法，具体包括如下步骤：

步骤1，用户进入无人超市前，在APP上注册个人账号，通过虹膜摄像头进行虹膜识别后进入无人超市；

步骤2，根据步骤1所得的识别结果判断该用户是否有未支付订单，决定该用户是否可以开始挑选商品；若有未支付订单，则需支付后方可继续购物；若无，则可直接进入无人超市并开始挑选商品；

步骤3，当用户进入挑选商品环节时，由于用户站在货架前，利用设置在货架上的摄像头C对用户进行眼神跟踪，并将跟踪结果发送给后台上位机，后台上位机对用户的在一个商品前的眼神停滞时长进行分析；

步骤4，用户取走放置在置物板上的商品，设置在该商品置物架底部的重量传感器将感知的重量变化信号发送给人机交互模块，使人机交互模块向后台上位机发送补货提醒；