[发明专利]一种基于深度学习融合位置和形状信息的商品识别方法

说明书

本发明公开了一种基于深度学习融合位置和形状信息的商品识别方法，涉及计算机视觉和智能识别技术领域，所述方法包括以下步骤：首先采用目标检测算法检测检出商品图中的所有目标商品；然后根据检出的bounding box计算所述检出商品图中目标商品的形状信息和位置信息；接着建立基于深度学习融合商品位置和形状的算法模型；最后利用所述目标商品的图像特征、形状信息和位置信息训练所述算法模型，并不断验证得到最终的商品识别算法模型。本发明通过在算法模型中加入商品的形状信息和位置信息，保留了商品的原始形状信息和商品间的协同关系，从而显著提高商品分类识别的效果。

技术领域

本发明涉及计算机视觉和智能识别技术领域，尤其涉及一种基于深度学习融合位置和形状信息的商品识别方法。

背景技术

计算机视觉技术已经逐渐渗透我们的日常生活，通过人工智能识别技术使得机器能够准确识别各种物体，而其中一类重要的计算机视觉应用是进行商品识别。商品识别与深度学习理论密切相关，随着深度学习的兴起，包括人脸识别、图像分类与物体检测在内的方向都取得了很多重要的进展。

商品识别主要是针对超市的货架和冰柜上的商品进行识别，具有以下的典型特点：一是商品识别的对象数量庞大，通常一张图上可能有上百个商品；二是商品识别的对象种类繁多，相比于通用物品的识别，商品识别中仅一个饮料类别已达上万个种类。针对上述问题，目前业界的通用做法是将整个商品识别分成两个阶段，第一阶段先将商品归为一个类别，该阶段只进行商品的检出；第二阶段再对检出的商品进一步分类，本发明即是对第二阶段检出商品的分类进行针对性的改进。

现有的针对检出商品的分类算法通常仅将商品本身的图像信息拉伸成固定形状，以此作为卷积神经网络的输入来提取特征，再将提取到的特征作为全连接网络的输入来进行分类。但在这个过程中，一方面商品的形状和大小信息在建模中被粗暴地拉伸成固定比例，破坏了商品的原始形状，影响分类效果；另一方面对于商品的位置信息，在建模过程中通常仅使用了图像本身的特征而割裂了货架或冰柜上商品之间的协同关系，从而导致分类结果不尽人意。

因此，本领域的技术人员致力于开发一种基于深度学习融合位置和形状信息的商品识别方法，通过在算法模型中加入商品的形状信息和位置信息，重新将商品的关键特征信息和各商品间的协同关系考虑在内，对提高商品识别的效果有显著作用。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术中破坏待识别商品的原始形状、丢失的商品宽高比信息、割裂的商品间协同关系而导致识别准确性较低的问题。

为实现上述目的，本发明提供了一种基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述方法包括以下步骤：

步骤1、采用目标检测算法检测检出商品图中的所有目标商品；

步骤2、根据检出的bounding box计算所述检出商品图中目标商品的形状信息和位置信息；

步骤3、建立基于深度学习融合商品位置和形状信息的算法模型；

步骤4、利用所述目标商品的图像特征、形状信息和位置信息训练所述算法模型，并不断验证得到最终的商品识别算法模型。

进一步地，所述步骤2中的目标商品的形状信息包括高度、宽度、宽高比。

进一步地，所述步骤2中的目标商品的位置信息包括四角坐标、中心点坐标。

进一步地，所述目标商品的位置信息被配置为所述检出商品图中目标商品的位置。

进一步地，所述步骤3中的融合商品位置和形状的算法模型被配置为根据所述目标商品的bounding box将其逐个从所述检出商品图中切出，得到所述目标商品的切出图。

进一步地，所述目标商品的切出图resize后的图像块大小为224×224。