[发明专利]一种基于精粒度卷积神经网络的衣物推荐方法

说明书

技术领域

本发明属于目标检测与推荐领域，涉及从互联网电商图片中检测衣物并进行推荐的方法。

背景技术

目前，随着互联网电商，如淘宝，京东，亚马逊的快速发展，人们在网上挑选衣物时常常面临货物太多反而无从选择的问题。如何改善现有的电商推荐方式，通过用户的购买习惯对商品进行有效的筛选过滤，从而保证能够推荐更符合用户购买习惯以及穿衣搭配习惯的衣物。成为现阶段电商巨头们花费大笔财力人力关注的问题。

受尺度变换、穿衣模特、不同场景、遮挡、复杂背景干扰等情况的影响，准确地在图片中识别衣物并进行推荐一项具有挑战性的任务。传统的衣物推荐方法基于文本识别，用户输入对应的衣服类型，推荐系统根据输入文本查找相关的衣物并进行推荐。这种方法直接高效，但在大数据蓬勃发展的今天，用户往往面临更多种的选择，一些情况下，由于个人的主观性，用户无法确切描述衣服的类型和样式，这种情况下，直接使用类似的衣服图片进行以图搜图可以有更好的效果。另外一方面，传统的衣物检测方法通常采用多尺度滑动窗口的方式遍历图片寻找衣物目标，这种方式导致需要判断的窗口数量增加，实时性较差。

作为深度神经网络的一种，卷积神经网络(Convolutional Neural Networks，CNNs)是为识别二维形状而特别设计的一个多层感知器。这种网络结构各种类型的尺度变换具有高度不变性，卷积神经网络目前在分类，识别，分割等领域都有所应用，取得了非常好的效果。精粒度(Fine-grained)卷积神经网络是在原始的卷积神经网络基础上提出的一种扩展，与原始的卷积神经网络的区别在于，精粒度卷积神经网络在训练的过程中不仅输入目标物体的整体，还将目标物体的不同部分(part)作为单独的物体作为输入。相对于原始的卷积神经网络，精粒度卷积神经网络能够更进一步地拟合目标物体的细节，从而提高检测和识别的准确性。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于精粒度卷积神经网络的衣物推荐方法。

为实现上述目的，本发明所述的基于精粒度卷积神经网络的衣物推荐方法包括如下步骤：

1)从互联网电商网站收集并建立包含多种衣物图片和非衣物图片的图片训练数据样本集，标注图片样本集中各种类型衣物所在的局部区域，并进行样本预处理；

2)使用包含衣物以及不包含衣物的区域进行精粒度卷积神经网络的训练，训练完成的模型用于多种衣物区域的识别；

3)用户输入待检测的图片，检测并识别图片中可能包含衣物的候选区域，对每一部分候选区域，在训练数据样本集中寻找外观最临近的样本；

4)利用所述步骤3)得到的训练样本集中的临近样本，获取这些样本的深度特征以及衣物标注，将深度特征拼接成一个长向量并进行评价，并将评价得分作为最终的推荐分数返回给用户。

所述的样本集共包含23种类型的衣物样本以及1种非衣物类型的样本。其中衣物类型样本中衣物区域均大于50*50像素。所述样本图片标注的方法为，对于包含衣服区域的图片，对不同类型的衣服使用下标0到23对不同的区域进行标记，并输出一个与图片相同长宽的矩形记录每种类型的衣服标记的位置。对于不是衣服的区域，输出矩形对应的下标标记为0。

所述样本预处理的方法为，将样本图片中包含标记为衣物区域的最小矩形作为正样本，从不包含任何衣物区域的图片中随机选取一些矩形区域作为负样本，统一缩放为大小为224*224*3的RGB图片，由于各个衣物类别所包含的初始样本个数不同，需要对其中样本较少的类别进行扩充。将样本中包含衣物的区域进行不同角度的旋转，为了避免旋转不规则角度后引入噪声，通过旋转扩充样本的方法使用的旋转角度为90°、180°和270°。