[发明专利]基于双重神经网络的商品识别方法及智能售货系统

说明书

本发明为一种基于双重神经网络的商品识别方法及智能售货系统，该方法包括步骤S1、采集商品图像和手势图像，得到手势图像数据集和商品图像数据集；步骤S2、设计双重神经网络，得到商品识别模型；商品识别模型包含两个并行的神经网络，一个神经网络用于识别手和遮挡摄像头的物体，另一个神经网络用于识别商品和遮挡摄像头的物体；每个神经网络均包含目标检测分支和防遮挡检测分支；将两个神经网络的防遮挡检测分支和目标检测分支的输出特征进行相加，从而得到商品识别模型的输出层；步骤S3、对商品识别模型进行训练与测试，将测试后的商品识别模型用于商品识别。该方法利用两个并行的神经网络识别手和商品，提高了识别速度和准确性。

技术领域

本发明属于自动售货机技术领域，具体是一种基于双重神经网络的商品识别方法及智能售货系统。

背景技术

无人售货机是一种自动化的售货设备，具有不受时间、地点的限制，节省人力、方便交易等诸多优点，被广泛应该在医院、学校、商场等公共场合。现有的售货机在每个隔层上设有多个放置架，每个放置架上均摆放有一个商品，当用户在售货机的显示屏上选择商品，则商品对应放置架上的弹簧机械结构将商品送入取物窗口，用户从取物窗口取走购买的商品。这种模式决定了传统售货机销售的商品单一和数量有限，只能在固定位置摆放特定商品，导致无人售货机的空间利用率较低。当工作人员将商品位置摆放错误时，则会出现吐货错误的情况，因此售货机的智能化程度低。一次购买商品的数量有限，购买的效率较低。

随着机器学习的发展，基于机器学习的识别技术在生活中的应用实例越来越多，由于用户在无人售货机中抓取商品的过程是一个动态过程，因此将机器学习等相关技术应用在无人售货机上，能够快速精准的实现商品识别和手部追踪。目前，基于神经网络的无人售货机的网络模型均是采用单个神经网络搭建的，单个神经网络只能识别特征相近的同一类物品，无法同时对用户抓取商品过程的商品和手进行识别。若要同时识别手和商品，则只能利用两个控制模块，一个控制模块中烧结商品识别模型，另一个控制模块中烧结手部识别模型；通过两个控制模块分别识别商品和手，再将两个控制模块的结果进行综合，不仅速度慢、识别效率低，而且对硬件设备要求较高，识别的准确率较低。

公布号为CN110298965A的中国专利公开了一种基于动态计算机视觉识别的智能售卖柜系统及其方法，采用基于深度学习的动态计算机视觉的识别算法，自动识别消费者从货柜中拿取商品的动作及拿取的商品，并进行相应的支付扣款。该方法利用单个网络将手部与商品识别分成人体动作识别和消费者手部关联物品的颜色图像特征识别，并且算法是基于two-stage的Mask R-CNN算法，需要分别进行手部与商品的识别再综合，处理过程复杂且速度较慢，无法识别突发情况，如恶意遮挡摄像头等情况。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于双重神经网络的商品识别方法及智能售货系统。

本发明解决所述技术问题采用的技术方案是：

一种基于双重神经网络的商品识别方法，其特征在于，该方法的具体步骤为：

步骤S1、采集商品图像和手势图像，得到手势图像数据集和商品图像数据集；

步骤S2、设计双重神经网络，得到商品识别模型；商品识别模型包含两个并行的神经网络，一个神经网络用于识别手和遮挡摄像头的物体，另一个神经网络用于识别商品和遮挡摄像头的物体；每个神经网络均包含目标检测分支和防遮挡检测分支，目标检测分支用于检测待识别图像中的商品或者手，防遮挡检测分支用于检测待识别图像中遮挡摄像头的物体；将两个神经网络的防遮挡检测分支和目标检测分支的输出特征进行相加，从而得到商品识别模型的输出层；计算检测出的手对应的目标检测框与商品对应的目标检测框的面积重合率，若某一商品对应的目标检测框与手对应的目标检测框的面积重合率大于等于20％，则认为人手在抓握此商品，此商品即为用户所购商品；

步骤S3、对商品识别模型进行训练与测试，将测试后的商品识别模型用于商品识别。