[发明专利]基于迁移学习的多视角商品图像检索与识别方法

权利要求书

1.一种基于迁移学习的多视角商品图像检索与识别方法，其特征在于：包括如下步骤：

步骤A：在获取已有商品列表后，为了获得每一类产品包装的全方位外观信息，根据商品列表为每一类产品建立多视角图像基础库，产品的多视角图像是指不同角度下拍摄的产品图像；借助迁移学习技术，直接使用少量商品图像数据集对在行人再识别Market-1501数据集上预训练过的深度残差网络模型进行微调，然后使用此网络对多视角图像基础库中的所有图片进行特征提取；为了加速之后的特征匹配过程，使用主成分分析法对特征降维，并构建低维特征库；根据特征库、多视角图像基础库和产品类别名称的对应关系构建映射表；

步骤B：在获取到待识别的商品图像后，使用步骤A中已微调后的网络对该图像提取特征，接着对该特征进行降维处理；

步骤C：在产品多视角基础库建立完成，并且获取待识别商品图片的低维特征之后，计算待识别商品图像特征与多视角图像基础库中各图片特征的欧式距离，通过排序找到距离最近的图片即为最相似的图片；接着通过映射表的映射关系得到待识别图像所属商品类别名称。

2.根据权利要求1所述的一种基于迁移学习的多视角商品图像检索与识别方法，所述步骤A的具体步骤如下：

步骤A01：在获取已有商品列表后，为了获得每一类产品包装的全方位外观信息，需要为商品列表中的每一类产品建立多视角图像基础库；产品的多视角图像是指不同角度下拍摄的产品图像；多视角图像基础库的建立流程为：首先在图像基础库下构建“品牌-产品类别-包装”形式的子库，然后在每一子库下存放该类别商品的多视角图像，其中，圆形包装和多边形包装的多视角商品图片稍有差异；其中：圆形包装是指瓶身没有棱角的包装，根据瓶底形状来判断，如果瓶底形状是圆形或者光滑的类圆形状，则该包装属于圆形包装；多边形包装是指瓶身有明显棱角的包装，根据瓶底形状来判断，如果瓶底形状是多边形的形状，则该包装属于多边形包装；

步骤A02：对少量商品图片进行标注，制作训练集，接着借助迁移学习技术，将使用行人再识别Market-1501数据集预训练过的深度残差网络模型再在这此训练集上进行微调，然后使用微调后的模型对多视角图像基础库下各个子库中的图片进行特征提取，每一张图片提取出一个2048维特征向量；

步骤A03：由于2048维向量维度过高，不仅不方便存储，而且影响之后的特征匹配过程的效率，因此，为了提高存储空间的利用率，减少特征匹配过程中的时间消耗，使用主成分分析法对特征进行降维处理，最后，原始的2048维特征向量被130维特征向量取代，并用低维特征构建商品的特征库，每当图像基础库更新后，需重新执行此步骤；

步骤A04：根据特征库、多视角图像基础库和产品类别名称的对应关系构建三张映射表，“标签-商品类别名称”映射表即基础库中已有商品的形如“品牌-产品类别-包装”的类别名称以及各类别对应的标签、“标签-图片”映射表即基础库中已有的图片名称以及该图片对应的产品类别标签和“特征-图片”映射表即基础库中已有的图片名称以及该图片对应的特征索引。

3.根据权利要求1所述的一种基于迁移学习的多视角商品图像检索与识别方法，步骤B的具体步骤如下：

步骤B01：建立多视角图像基础库、特征库和映射表后，对于获取到的每一张待识别商品图像，使用步骤A02中微调后的模型对其进行特征提取，每一张图片提取出一个用2048维向量描述的特征；

步骤B02：接着使用主成分分析法，将每一张待识别图像的2048维特征向量变换为130维的特征向量。

4.根据权利要求1所述的一种基于迁移学习的多视角商品图像检索与识别方法，步骤C的具体步骤如下：

步骤C01：在产品多视角图像基础库建立完成，并且获取待识别商品图片低维特征后，对待识别商品图像特征与基础库中各图片特征进行计算获得其欧氏距离，然后通过排序得到与待识别图片距离最近的图片，即最相似图片；

步骤C02：根据“标签-商品类别名称”、“标签-图片”、“特征-图片”映射表表之间的一一对应关系，通过获取匹配到的最相似图片的索引，得到该相似图片所属商品名称，也即待识别商品图片的商品名称。