[发明专利]面向时尚电商的街拍推荐系统

说明书

本发明涉及一种结合人物检测的面向时尚街拍的电商推荐系统，包括图像特征提取和检索模块，基于卷积神经网络进行特征提取，用于建立特征集，构造最近邻搜索图；人物目标检测模块，用于识别目标人物在街拍中的位置；人物图像分割模块，用于将含有人物图像的轮廓分割出来；相似搜索模块用于按照用户上传图像的特征预测在电商数据中最相似的多件商品，本发明能够部署在面向时尚服装的电商网站中，有效地提高服装图像搜索的识别率和准确度，对时尚领域的电商购买转化率的提高有着显著的作用。

技术领域

本发明涉及时尚商品推荐与检索技术领域，主要涉及一种融合商品分类、目标检测和图像分割的相似图片检索与推荐系统。

背景技术

时尚产业是一个价值几十亿美元的重要产业，在数据时代，用户对时尚的要求不仅仅局限于图片、文字和视频，用户对商品的认知以及与数据的交互成为了用户踏入时尚产业的关键因素。随着大量结构化数据和可索引的数据存储的普及，用户的交互在网站愈发重要，时尚电商已经不再仅仅作为一种呈现方式，而更是一种与用户日程生活紧密联系的互动过程。

随着时尚电商网站的迅速发展，用户对于商品的需求日渐多样化和精细化，对于许多用户目标商品，已经不能再简单的使用语言来描述，如服装精细的花纹、制作精美的工艺产品、独具创意的形状的鞋等。使用手机一键拍照网上购物具有独特的商业价值，是一种更加直观和方便的购物体验，也是移动互联网时代连接线上线下的重要渠道。使用深度学习相关的图像技术，相比传统技术，能够显著提高电商网站的检索和推荐质量，通过卷积神经网络等方法准确识别用户需求，提高购买转化率已经是业界必备的技术，对于用户自定义图像识别准确率方面的提升能够非常明显的反映在点击、浏览和购买的比率上，从转化率的提升计算，该技术已经为淘宝等网站创造了数百万的利润，并仍在快速进步中。

发明内容

本发明的目的是：能够结合人物检测的面向时尚街拍的电商推荐系统，能够满足在日常场景的街拍中准确识别出人物所在的位置，并切割出人物的轮廓，并在现有电商的数据中进行搜索，满足客户对于时尚产业产品多样化、个性化的要求，促进电商平台在时尚领域的购买率。

为了达到上述目的，本发明的技术方案是一种面向时尚电商的街拍推荐系统，其特征在于，包括：

离线时尚电商数据集构建模块，获取公开的电商平台数据的子集，电商平台数据包括图像和商品文字信息，将子集中某些关键项有空缺的电商平台数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终获得完整的时尚电商数据集；

实时特征提取和最近邻搜索模块，使用卷积神经网络ResNet对时尚电商数据集进行特征提取，卷积神经网络ResNet的最后一层Softmax去除，增加需要的512维全连接层，使用ImageNet进行模型迁移，在特征提取完成后，将特征组成的数据集依次插入由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中；

人物识别与背景噪声分离模块，用户向人物识别与背景噪声分离模块输入街拍图片，由人物识别与背景噪声分离模块对用户输入的街拍图片进行预处理，通过Faster RCNN模块将街拍图片中背景和关键人物区分开来，使得能够将整体人物框定并切割开来，再使用Faster FCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来；

时尚商品分类模块，使用电商平台分类数据进行分类器训练，训练数据为预先分类好的商品图片数据经由ResNet特征提取以后组成的数据集，分类器的类型是随机森林分类器，并对其参数进行调优，最后建立前端基于HighChart的分类动态图表，可视化地展示其分类结果。

优选地，所述人物识别与背景噪声分离模块中，所述Faster FCN网络的作用是通过其RPN和分类器网络进行图像选择框的框定和类别的识别，类别定义为人后即可识别人物位置，FCN则是通过上采样和下采样进行像素级别的图像分类，将人轮廓内的像素识别为人物的类别，并去除背景的噪声。