[发明专利]一种购物流程控制方法、装置和用户终端

权利要求书

1.一种购物流程控制方法，其特征在于，包括：

接收购物指令，并且根据所述购物指令开启自动售货机的购物仓；

接收用户触发第一红外传感器生成的购物动作开始指令；

根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

接收所述用户抓取的商品时所述商品对应的商品电子标签触发的商品取出信号；

基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单；所述商品信息包括商品品种和商品数量；

接收所述用户关闭所述购物仓生成的结算指令，根据所述购物清单显示结算界面，以便于所述用户进行结算；

所述“根据所述购物动作开始指令，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示”包括：

根据所述购物动作开始指令，采集所述用户的购物行为图像；

提取所述购物行为图像中的初始关键帧，对所述初始关键帧进行识别，确认所述初始关键帧中所述用户的上肢轮廓；

利用kinect的骨骼跟踪技术，根据所述上肢轮廓确定所述用户的上肢关节点的三维坐标；

基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物动作生成提示信息，以便于根据所述提示信息对用户进行提示；

所述“基于所述上肢关节点的三维坐标，对所述用户的购物行为动作进行识别，并根据所识别出的所述购物行为动作生成提示信息，以便于根据所述提示信息对用户进行提示”，包括：

取所述上肢关节点的三维坐标中的左右肘关节坐标、左右手坐标、左右肩坐标作为关键点；

提取所述购物行为图像中的行为动作关键帧，并为每一个所述行为动作关键帧建立与所述行为动作关键帧对应的时间戳；

对所述行为动作关键帧进行所述关键点的向量描述，构建所述关键点对应的移动向量；

以所述初始关键帧中的所述关键点对应的坐标作为识别起始点，选取所述移动向量作为动作描述的向量行为特征，对所述购物行为图像中的每个所述关键帧进行识别，提取出基于所述时间戳的所述关键帧中的向量行为特征；

将所述向量行为特征转换为二进制的二进制向量行为特征数据；

基于二进制人工神经网络学习，识别出所述二进制向量行为特征数据对应的购物行为动作；

根据所识别出的所述购物行为动作获取与所述购物行为动作对应的提示信息，以便于根据所述提示信息对用户进行提示。

2.如权利要求1所述购物流程控制方法，其特征在于，所述购物行为动作包括空手入柜、抓取商品、取出商品和退回商品。

3.如权利要求1所述购物流程控制方法，其特征在于，所述“基于所述商品取出信号，对所述用户抓取的商品进行识别，确认所述用户所抓取商品的商品信息，生成基于所述商品信息的购物清单”包括：

基于所述商品取出信号，触发图像处理单元实时采集用户抓取商品的连拍图像；

提取所述连拍图像的关键帧；

基于人工神经网络，定位出具有商品的关键帧，并且，对每个所述关键帧中的所述商品进行边缘提取，获得所述关键帧中的商品对应的商品轮廓；

根据所述商品轮廓获得包括所述商品的商品截图；

提取所述商品截图中的商品特征信息，并且将所述商品特征信息在预设商品特征数据库中查找与匹配；

当所述商品特征信息在所述预设商品特征数据库中的图像特征匹配成功率大于或等于预设百分率时，获取所述预设商品特征数据库中与所述商品特征信息对应的商品信息；

生成基于所述商品信息的购物清单。

4.如权利要求1所述购物流程控制方法，其特征在于，所述“接收购物指令，并且根据所述购物指令开启自动售货机的购物仓”之后，还包括：

接收所述用户走进所述购物仓中触发的第二红外传感器生成的进入货仓指令；

根据所述进入货仓指令，通过距离传感器获取所述用户与所述购物仓内的半封闭风淋区域的距离数据；

开启多角度风淋喷头，对所述用户进行风淋净化，并根据所述距离数据调整风淋时的净化风力的大小，直至达到预设风淋时间时停止风淋。