[发明专利]基于多模态的服装图像检索方法

说明书

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于多模态的服装图像检索方法。

背景技术

随着互联网的广泛普及以及电子商务的迅速发展，每天都有数以万计的商品信息涌入人们的眼帘，尤其是服装商品信息。如何能快速并有效的从海量的数据中寻找到人们所感兴趣的服装信息，成为迫切需要解决的问题。服装信息包括对服装的文字描述和图像表现。如今市面上，最多的关于服装检索的搜索引擎都是基于文本关键字的，例如淘宝，京东，亚马逊，ebay等。虽然这些搜索引擎被越来越多的用户所熟知和使用，但是其本身的局限性是有目共睹的。当用户想寻找某一款具体的衣服时，只能通过详尽的关键字描述，然后从数千计的候选列中一一筛选出自己感兴趣的衣服，用户进行的大量操作极度考验用户的耐心，浪费了用户的大量时间和精力。

此外，服装图像本身也是一种检索内容，以服装图像作为输入得到其相同或类似的服装信息。类似的以图搜图的系统有：百度识图，谷歌的图片搜索，TinEye,GazoPa等，其中基于内容的图像检索是以图搜图的关键技术之一。基于内容的图像检索是通过图像特征的提取以及描述，得到相同或者相似的图像检索。然而传统的基于内容的图像检索技术对本问题不能进行有效的建模以达到准确检索的目标。

现有基于内容的图像检索技术的基本实现步骤为：(1)构建图像库；(2)提取图像特征；(3)通过计算特征之间距离(如欧式距离，曼哈顿距离等)，得到两幅图像的相似程度；(4)用户输入图像，得到与其相同或者相似的图像。此方法应用在服装图像检索系统存在以下几个问题：1)忽视了服装信息所包含的文本信息；2)计算图像间相似度需要进行高维向量间距离计算，线性遍历的效率极低；3)缺少用户与系统之间的交互，缺乏对检索结果的验证过程。

长春工业大学的侯阿临等人发表在《现代电子技术》2010年第6期总第317期的论文《基于多特征的服装图像检索》中提出了一种基于多特征的服装图像检索的方法，该方法存在以下三个问题：1)忽视了服装信息中的文本关键字，文本关键字信息对于服装分类以及初选有重要作用；2)只提取了服装图像中的形状特征和颜色特征，忽视了其他特征对服装图像的影响，例如纹理特征；3)采取分层检索的方式，每层检索只使用一个特征，大大影响检索结果，降低查全率。

CN102254043公开了一种基于语义映射的服装图像检索方法，该发明存在以下缺陷：1)提出的提取服装图像底层特征构建服装领域知识库，获取服装图像的语义信息的过程中存在视觉特征到语义信息的转换鸿沟；2)提出通过设置阀值得到某一特征类中服装图像的高频词，但是此高频词并不能准确的对此类中所有服装进行描述，也就是存在视觉特征与高频词不对等的问题，影响检索的准确率和查全率。

发明内容

为解决上述问题，本发明提供了一种基于多模态的服装图像检索方法。

本发明的具体技术方案为：一种基于多模态的服装图像检索方法，具体实现步骤为：

S1：构建服装图像文本库；

S2：构建服装图像特征库；

S3：用户输入待检索服装图像和文本描述；

S4：通过文本检索得到候选集Q1；

S5：通过图像多特征检索得到候选集Q2；

S6：根据用户反馈对候选集Q2进行重排得到结果集R。

进一步的，步骤S1中所述的构建服装图像文本库的具体步骤为：

S11：通过网页分析，提取出对应服装图像的网页文本信息；

S12：将文本信息存储到数据库中；

S13：对文本信息进行分词；

S14：创建文本索引文件。

进一步的，步骤S2中所述的构建服装图像特征库的具体步骤为：

S21：对服装图像进行预处理操作，包括灰度处理和尺度归一化过程；

S22：分别提取图像的形状特征、颜色特征和纹理特征；

S23：对三种图像特征拼接而成的新特征进行聚类；

S24：得到每张服装图像所对应的聚类中心描述；

S25：创建图像索引文件。

进一步的，步骤S3中所述服装图像是本地上传的包含服装的图像，所述文本描述可以通过勾选服装类别或者用户输入自定义文本获取得到。

进一步的，步骤S4中所述的通过文本检索得到候选集Q1，是利用用户勾选的服装类别或输入的自定义文本，通过文本检索接口，得到对应的检索候选集Q1。

进一步的，步骤S5中所述的通过图像多特征检索得到候选集Q2，具体步骤为：