[发明专利]基于深度学习与眼神跟踪的无人超市售货系统及售货方法

权利要求书

1.基于深度学习与眼神跟踪的无人超市售货系统的售货方法，其特征在于：基于深度学习与眼神跟踪的无人超市售货系统，包括:

设置在无人超市入口的双目摄像头与虹膜摄像头，无人超市内部设有货架，货架的顶点设有摄像头A；

货架上从上至下设有至少两排置物板，置物板的底部设有重力传感器；

货架的每行置物架上分别均设有摄像头B和摄像头C；

货架的一端设有人机交互模块；

双目摄像头、虹膜摄像头、摄像头A、摄像头B、摄像头C及重力传感器均连接后台上位机；

所述人机交互模块包括电子广告屏、语音模块及补货提醒模块；

具体包括如下步骤：

步骤1，用户进入无人超市前，在APP上注册个人账号，通过虹膜摄像头进行虹膜识别后进入无人超市；

步骤2，根据步骤1所得的识别结果判断该用户是否有未支付订单，决定该用户是否可以开始挑选商品；若有未支付订单，则需支付后方可继续购物；若无，则可直接进入无人超市并开始挑选商品；

步骤3，当用户进入挑选商品环节时，由于用户站在货架前，利用设置在货架上的摄像头C对用户进行眼神跟踪，并将跟踪结果发送给后台上位机，后台上位机对用户的在一个商品前的眼神停滞时长进行分析；

所述步骤3的具体过程为：

步骤3.1，用户走向目标商品，设置在货架上的摄像头C跟踪顾客眼神，摄像头C将采集的信息发送给后台上位机，通过后台上位机对摄像头C检测到信息进行分析，计算用户在目标商品前停留的总注意力时长；

步骤3.2，后台上位机对步骤3.1计算的注意力时长及步骤3.1中所述目标商品的历史购买记录进行分析归纳，选出历史购买记录最多及用户注意力停留最长的商品；

步骤3.3，将步骤3.2所选商品信息发送到人机交互模块中，在人机交互模块的电子广告屏上展示该商品的信息；

步骤4，用户取走放置在置物板上的商品，设置在该商品置物架底部的重量传感器将感知的重量变化信号发送给人机交互模块，使人机交互模块向后台上位机发送补货提醒；

步骤5，摄像头A采集顾客所挑选的待支付商品图像并跟踪待支付商品去向；摄像头B，检测并跟踪未付款用户去向，摄像头A和摄像头B将采集的信息发送给后台上位机，在后台上位机中，利用关联算法对摄像头A和摄像头C采集的信息进行处理，得到步骤4所选商品所需支付的费用，并将该费用发送至APP中进行处理，得到用户所需支付的费用并发送至APP；

所述摄像头A和摄像头B中均采用SVM+HOG跟踪算法；

所述步骤5中采用关联算法Apriori算法，将摄像头A采集到的待支付商品图像和摄像头B采集的未付款用户图像进行关联匹配，后台上位机将待支付商品的付款金额发送给摄像头B采集到的未付款用户的APP中；

若用户拿起A商品却并没购买，又将A商品放回智能货架上；若用户将A商品放回原位，则A商品购买失效；若用户未将A商品放回原位，则语音模块提醒1次；

根据设置在货架置物板下方的重力传感器的改变值，初步检测待支付商品数量m、品类、价格，即实现在后台上位机中录入单个商品的重量及价格；同时放置在同一层置物架上的商品必须是价格及重量均相同的商品；这样根据重量传感器感知的重量变化，即可获知商品的品类，根据该品类查找与之匹配的价格，并初步结算订单金额；

假设设置在货架顶端的摄像头A的视野范围为a，设置在货架上的摄像头B的视野范围为b，设置在货架上的摄像头C的视野范围为c，智能货架的总长为L，则：

x＝[L/a]+1；

y＝[L/b]+1；

z＝[L/c]+1；

其中，x表示设置在货架顶端的摄像头A的数量，y表示设置在货架上的摄像头B的数量，z表示设置在货架上的摄像头C的数量；

由于在一个货架上用来检测并跟踪未付款用户去向的摄像头B有y个，即当两个摄像头B5在同一时间内捕获到相同信息时可利用摄像头B对未付款用户进行轨迹跟踪，利用DeepSort算法或SVM+HOG算法判断轨迹是否一致，当轨迹一致时后台进行处理，避免重复扣费；

步骤6，用户离开无人超市，APP提醒用户支付费用，待用户支付完成或系统自动扣费，购物结束。