[发明专利]一种基于精粒度卷积神经网络的衣物推荐方法

权利要求书

1.一种基于精粒度卷积神经网络的衣物推荐方法，其特征包括如下步骤：

1)从互联网电商网站收集并建立包含多种衣物图片和非衣物图片的图片训练数据样本集，标注图片样本集中各种类型衣物所在的局部区域，并进行样本预处理；

2)使用包含衣物以及不包含衣物的区域进行精粒度卷积神经网络的训练，训练完成的模型用于多种衣物区域的识别；

3)用户输入待检测的图片，检测并识别图片中可能包含衣物的候选区域，对每一部分候选区域，在训练数据样本集中寻找外观最临近的样本；

4)利用所述步骤3)得到的训练样本集中的临近样本，获取这些样本的深度特征以及衣物标注，将深度特征拼接成一个长向量并进行评价，并将评价得分作为最终的推荐分数返回给用户。

2.根据权利要求1所述的一种基于精粒度卷积神经网络的衣物推荐方法，其特征在于：所述的步骤1)中所述的样本集共包含23种类型的衣物样本以及1种非衣物类型的样本，其中衣物类型样本中衣物区域均大于50*50像素；对于包含衣服区域的图片，不同类型的衣服使用下标0到23对不同的区域进行标记，并输出一个与图片相同长宽的矩形记录每种类型的衣服标记的位置；对于不是衣服的区域，输出矩形对应的下标标记为0。

3.根据权利要求1所述的一种基于精粒度卷积神经网络的衣物推荐方法，其特征在于：所述的步骤2)中所述的样本预处理是将样本图片中包含标记为衣物区域的最小矩形作为正样本，从不包含任何衣物区域的图片中随机选取一些矩形区域作为负样本，统一缩放为大小为224*224*3的RGB图片，由于各个衣物类别所包含的初始样本个数不同，需要对其中样本较少的类别进行扩充，将样本中包含衣物的区域进行不同角度的旋转，为了避免旋转不规则角度后引入噪声，通过旋转扩充样本的方法使用的旋转角度为90°、180°和270°。

4.根据权利要求1所述的一种基于精粒度卷积神经网络的衣物推荐方法，其特征在于：所述的步骤3)中所述的卷积神经网络设置为7层，其中第1层为输入层，输入为224*224*3的RGB图像，第7层为输出层，共24个节点，分别代表23种衣物类别和1个非衣物类别。

精粒度卷积神经网络包含5个卷积层和3个全连接层，其中第一、第二、第五卷积层后面跟随最大汇总层；第一个卷积层通过96个11*11*3的卷积核对输入图像进行滤波，滑动步长为4像素，输出为55*55*48的映射，第一个最大汇总层输出为27*27*48的映射；第二个卷积层通过256个5*5*48的卷积核对第一层的输出进行滤波，输出为27*27*128的映射，第二个最大汇总层的输出为13*13*128的映射；第三个卷积层通过384个3*3*256的卷积核对第2层的输出进行滤波，输出为13*13*192的映射；第四个卷积层通过384个3*3*192的卷积核对第三层的输出进行滤波，输出为13*13*192的映射；第五个卷积层通过256个3*3*192的卷积核对第4层的输出进行滤波；输出为13*13*128的映射，第三个最大汇总层输出为6*6*128的映射；第一个全连接层输入为第5层卷积层经过最大汇总后的映射，输出为4096*1的向量；第二个全连接层输入为第一个全连接层的输出，其输出为4096*1的向量；第三个全链接层为输出层，其输入为第二个全连接层的输出，输出为1000*1的向量。

5.根据权利要求1所述的一种基于精粒度卷积神经网络的衣物推荐方法，其特征在于：所述的步骤3)中所述的对于用户输入的图片，首先对其进行衣物区域的检测，本发明使用多层次的基于图像分割的方法选择其中可能包含目标的少量区域输入卷积神经网络进行识别，相对于传统的基于滑动窗口的检测方法，本方法可降低时间开销以及进一步提高检测准确率。