[发明专利]基于迁移学习的多视角商品图像检索与识别方法

说明书

技术领域：

本发明属于图像处理、检索与识别的应用领域，具体提出了基于 迁移学习的多视角商品图像检索与识别方法。

背景技术：

在Web3.0时代，尤其是随着社交网站、购物网站等的流行，图 像、视频、音频等异构数据与日俱增。例如，我国最大的电子商务系 统淘宝网的后端系统上存储的图片数量已超过286亿张。因此，如何 在包含丰富视觉信息的浩瀚的图像库中方便、快捷、精确地检索、识 别用户感兴趣的图像，成为多媒体信息领域研究的热点。为此，基于 内容的图像检索技术逐步建立起来，并在近些年来得到了迅速发展， 现已广泛应用于智能家电、搜索引擎、电子商务、医学、纺织业、皮 革业等生活的方方面面。

基于内容的图像检索技术是利用计算机对图像进行分析，自动实 现了图像内容的表达和相似性度量，不仅充分利用了计算机长于计算 的优势，而且克服通过文本进行图像检索所面临的缺陷，大大提高了 检索效率。但是，现有的基于内容的图像检索也存在一些缺陷，主要 表现为：(1)特征描述与高层语义之间存在难以填补的语义鸿沟，虽 然以深度卷积神经网络(CNN,Convolutional Neural Network)为主导的 特征表达方式也开始在相同物体图像检索上进行展开，但仍需引进能 够提取更强表达能力的特征的网络，从而进一步突破语义鸿沟；(2) 海量图像库及其对应的高维特征库的存储，占用大量的存储空间；(3) 由于大规模的图像库、高维度的特征库，直接采用相似性度量和索引 策略进行检索，难以满足系统实时性的要求；(4)现有的图像检索系 统，比如，阿里巴巴的拍立淘，只具备检索功能，而不具有识别产品 类别的功能。即只显示相似图片，并不会直接告诉用户查询商品图像 的产品名称，须由用户根据检索到的图片自行判断。

发明内容：

本发明针对上述基于内容的图像检索技术所存在的缺陷，提出了 一种基于迁移学习的多视角商品图像检索与识别方法，该方法能够自 动提取强表征能力的特征，进一步突破语义鸿沟，并且在只利用少量 图像库和低维特征的情况下，不仅提高了检索效率，而且提高了识别 精度。

为了达到上述目的，本发明采用如下技术方案：

一种基于迁移学习的多视角商品图像检索与识别方法，包括如下 步骤：

步骤A：在获取已有商品列表后，为了获得每一类产品包装的全 方位外观信息，根据商品列表为每一类产品建立多视角图像基础库， 产品的多视角图像是指不同角度下拍摄的产品图像；借助迁移学习技 术，直接使用少量商品图像数据集对在行人再识别Market‐1501数据 集上预训练过的深度残差网络模型进行微调，然后使用此网络对多视 角图像基础库中的所有图片进行特征提取；为了加速之后的特征匹配 过程，使用主成分分析法对特征降维，并构建低维特征库；根据特征 库、图像基础库和产品类别名称的对应关系构建映射表；

步骤B：在获取到待识别的商品图像后，使用步骤A中已微调后 的网络对该图像提取特征，接着对该特征进行降维处理；

步骤C：在产品基础库建立完成，并且获取待识别商品图片的低 维特征之后，计算待识别商品图像特征与图像基础库中各图片特征的 欧式距离，通过升序排序找到距离最近的图片即为最相似的图片；接 着通过映射表的映射关系得到待识别图像所属商品类别名称。

所述步骤A的具体步骤如下：

步骤A01：在获取已有商品列表后，为了获得每一类产品包装的 全方位外观信息，需要为商品列表中的每一类产品建立多视角图像基 础库；产品的多视角图像是指不同角度下拍摄的产品图像；多视角图 像基础库的建立流程为：首先在图像基础库下构建“品牌‐产品类别‐ 包装”形式的子库，然后在每一子库下存放该类别商品的多视角图像， 其中，圆形包装(圆形包装是指瓶身没有棱角的包装，可以根据瓶底 形状来判断，如果瓶底形状是圆形或者光滑的类圆形状，则该包装属 于圆形包装)和多边形包装(多边形包装是指瓶身有明显棱角的包装， 可以根据瓶底形状来判断，如果瓶底形状是多边形的形状，则该包装 属于多边形包装)的多视角图像稍有差异；

步骤A02：对少量商品图片进行标注，制作训练集，接着借助迁 移学习技术，将使用行人再识别Market‐1501数据集预训练过的深度 残差网络模型再在这此训练集上进行微调，然后使用微调后的模型对 多视角图像基础库下各个子库中的图片进行特征提取，每一张图片提 取出一个2048维特征向量；