[发明专利]基于双重神经网络的商品识别方法及智能售货系统

权利要求书

1.一种基于双重神经网络的商品识别方法，其特征在于，该方法的具体步骤为：

步骤S1、采集商品图像和手势图像，得到手势图像数据集和商品图像数据集；

步骤S2、设计双重神经网络，得到商品识别模型；商品识别模型包含两个并行的神经网络，一个神经网络用于识别手和遮挡摄像头的物体，另一个神经网络用于识别商品和遮挡摄像头的物体；每个神经网络均包含目标检测分支和防遮挡检测分支，目标检测分支用于检测待识别图像中的商品或者手，防遮挡检测分支用于检测待识别图像中遮挡摄像头的物体；将两个神经网络的防遮挡检测分支和目标检测分支的输出特征进行相加，从而得到商品识别模型的输出层；计算检测出的手对应的目标检测框与商品对应的目标检测框的面积重合率，若某一商品对应的目标检测框与手对应的目标检测框的面积重合率大于等于20％，则认为人手在抓握此商品，此商品即为用户所购商品；

步骤S3、对商品识别模型进行训练与测试，将测试后的商品识别模型用于商品识别。

2.根据权利要求1所述的基于双重神经网络的商品识别方法，其特征在于，防遮挡检测分支的具体结构为：待识别图像依次经过一个CBM模块、一个CSP1模块、一个CSP2模块、两个CSP8模块、一个CSP4模块、三个CBL模块、一个SPP模块和四个CBL模块，然后经过上采样后，再与第二个CSP8模块的输出特征经过一个CBL模块后的输出特征进行第一次拼接，第一次拼接后的特征依次经过两个CBL模块后进行上采样，上采样后的特征再与第一个CSP8模块的输出特征经过一个CBL模块的输出特征进行第二次拼接，第二次拼接得到的特征依次经过六个CBL模块和一个Conv层，得到防遮挡检测分支的输出特征；

目标检测分支以防遮挡检测分支为基础，防遮挡检测分支第一次拼接后的特征再经过一个CBL模块后的输出特征与防遮挡检测分支第二次拼接后的特征经过六个CBL模块后的输出特征进行第三次拼接，第三次拼接后的特征依次经过六个CBL模块和一个Conv层，得到目标检测分支的输出特征。

3.根据权利要求1所述的基于双重神经网络的商品识别方法，其特征在于，对于检测手的目标检测分支，将置信度大于等于0.8且置信度最高的目标检测框作为手的检测结果；对于检测商品的目标检测分支，将置信度大于等于0.6的目标检测框作为商品的检测结果。

4.一种使用权利要求1～3任一所述的方法进行商品识别的智能售货系统，其特征在于，包括售货机、移动终端、第一摄像头、第二摄像头、一号控制单元、二号控制单元、总控制单元和重力传感器；

所述售货机上设有蓝牙磁力锁，售货机的柜门上粘贴有开锁二维码；售货机沿高度方向设有多个隔板，将售货机的内部空间分为多个隔层，其中一个隔层作为退换货隔层，其余所有隔层均作为商品放置隔层；每个隔层的顶部均安装有感应照明灯；

每个商品放置隔层上均安装有第一摄像头和一号控制单元；第一摄像头与一号控制单元连接；一号控制单元通过物联网与云端服务器中的总控制单元连接，总控制单元同时通过物联网与移动终端连接；

退换货隔层的底部安装有重力传感器、第二摄像头和二号控制单元；重力传感器和第二摄像头均与二号控制单元连接，二号控制单元通过物联网与总控制单元连接。