[发明专利]智能零售柜商品目标检测统一框架的构建方法及商品识别方法

权利要求书

1.一种智能零售柜商品目标检测统一框架的构建方法，其特征在于，包括：

步骤S1：采集零售柜内商品的图像数据，并对采集的图像数据进行预处理与扩充；

步骤S2：采用分层标注模式，对不同类型的商品采用不同的标注方法进行标注；

步骤S3：按照预设比例，将标注后的数据划分为训练数据、验证数据和测试数据；

步骤S4：将训练数据输入预设卷积神经网络模型中进行训练，获得YOLOv3模型；

步骤S5：根据商品的形状特征，构建混淆商品列表，并根据混淆商品列表对步骤S2中得到的标注数据进行裁剪，制作相似商品数据集，再利用相似商品数据集对相似识别子网络进行训练，获得训练后的相似识别子网络模型；

步骤S6：将YOLOv3模型与训练后的相似识别子网络模型结合，构建商品目标检测统一框架，其中，将YOLOv3模型与训练后的相似识别子网络模型结合包括：对YOLOv3模型的识别结果进行判断，如果类别在混淆列表中，则将该商品对应的图像进行剪裁后输入到相似识别子网络模型中，进行进一步识别。

2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：

步骤S1.1：通过鱼眼相机和灯带对零售柜内商品进行拍照，采集商品的图像数据；

步骤S1.2：剔除采集的图像数据中的错误数据；

步骤S1.3：对剔除错误数据后的图像数据进行亮度、模糊、旋转操作对数据进行扩充。

3.如权利要求1所述的方法，其特征在于，步骤S2具体包括：

步骤S2.1：对于形状特征符合第一预设条件的商品，采用标注商品瓶盖的标注方式，对于形状特征符合第二预设条件的商品，采用标注商品全身的标注方式；

步骤S2.2：生成标注后的数据，其中，标注后的数据包含商品的位置坐标、类别及对应的图片信息。

4.如权利要求1所述的方法，其特征在于，步骤S4中的预设卷积神经网络模型为DarkNet53。

5.如权利要求1所述的方法，其特征在于，步骤S5中的相似识别子网络模型包括5个卷积层、3个池化层、2个全连接层和1个输出的softmax层。

6.一种基于权利要求1至5任一项权利要求所构建的商品目标检测统一框架的商品识别方法，其特征在于，包括：

利用商品目标检测统一框架结合优化的非极大值抑制方法进行零售商品识别测试。

7.如权利要求6所述的方法，其特征在于，利用商品目标检测统一框架结合优化的非极大值抑制方法进行零售商品识别测试，包括：

将测试数据输入YOLOv3模型，得到测试结果；

将测试结果采用优化的非极大值抑制方法进行处理，得到YOLOv3模型的识别结果，其中，YOLOv3模型的识别结果包括检测目标的类别和第一置信度，优化的非极大值抑制算法包括：首先对全局利用检测框的面积交并比进行过滤，当两个检测框的交并比大于第一阈值时，则判定它们是同一个目标的包围框，删掉置信度较小的检测框；然后计算每个检测框与其余所有检测框的并集面积与本身面积的比值，当比值大于第二阈值时，则判定该检测框为错误框，将其删除；

对YOLOv3模型的识别结果进行判断，如果类别在混淆列表中，则将该商品对应的图像进行剪裁后输入到相似识别子网络模型中，进行进一步识别，并得到相似识别子网络模型的识别结果，且相似识别子网络模型的识别结果包括第二置信度；

根据YOLOv3模型的识别结果中的第一置信度与相似识别子网络模型的识别结果中的第二置信度，得到最终识别结果。

8.如权利要求7所述的方法，其特征在于，根据YOLOv3模型的识别结果中的第一置信度与相似识别子网络模型的识别结果的第二置信度，得到最终识别结果，包括：

如果YOLOv3模型的识别结果的第一置信度大于相似识别子网络模型的识别结果的第二置信度，则将YOLOv3模型的识别结果作为最终识别结果；

否则，将相似识别子网络模型的识别结果作为最终识别结果，并将第一置信度和第二置信度的平均值作为最终的置信度。