[发明专利]基于多模态的服装图像检索方法

权利要求书

1.基于多模态的服装图像检索方法，其特征在于，其实现的具体步骤为：

S1：构建服装图像文本库；

S2：构建服装图像特征库；

S3：用户输入待检索服装图像和文本描述；

S4：通过文本检索得到候选集Q1；

S5：通过图像多特征检索得到候选集Q2；

S6：根据用户反馈对候选集Q2进行重排得到结果集R。

2.根据权利要求1所述的基于多模态的服装图像检索方法，其特征在于，步骤S1的具体分步骤为：

S11：通过网页分析，提取出对应服装图像的网页文本信息；

S12：将文本信息存储到数据库中；

S13：对文本信息进行分词；

S14：创建文本索引文件。

3.根据权利要求2所述的基于多模态的服装图像检索方法，其特征在于，步骤S2的具体分步骤为：

S21：对服装图像进行预处理操作，包括灰度处理和尺度归一化过程；

S22：分别提取图像的形状特征、颜色特征和纹理特征；

S23：对三种图像特征拼接而成的新特征进行聚类；

S24：得到每张服装图像所对应的聚类中心描述；

S25：创建图像索引文件。

4.根据权利要求3所述的基于多模态的服装图像检索方法，其特征在于，步骤S3中所述服装图像是本地上传的包含服装的图像，所述文本描述可以通过勾选服装类别或者用户输入自定义文本获取得到。

5.根据权利要求4所述的基于多模态的服装图像检索方法，其特征在于，步骤S4中所述的通过文本检索得到候选集Q1，是利用用户勾选的服装类别或输入的自定义文本，通过文本检索接口，得到对应的检索候选集Q1。

6.根据权利要求5所述的基于多模态的服装图像检索方法，其特征在于，步骤S5的具体分步骤为：

S51：对待检索服装图像进行预处理操作，包括灰度处理和尺度归一化；

S52：提取待检索服装图像的形状特征、颜色特征和纹理特征；

S53：根据特征库的聚类中心获取待检索图像的聚类中心描述；

S54：通过图像多特征检索接口，对图集Q1中的所有候选图进行筛选，得到图像特征相同或相似的候选集Q2。

7.根据权利要求6所述的基于多模态的服装图像检索方法，其特征在于，步骤S6的具体分步骤为：

S61：经过步骤S5，系统反馈给用户初步的候选集Q2，用户从候选集Q2中选择符合自己检索要求的服装作为反馈信息提交给系统；

S62：系统获取用户的反馈信息，通过数据库查询到其具体特征描述；

S63：通过计算与候选集Q2中其他图像的特征距离，得到服装图像间的相似度；

S64：按照相似度由高到低，对候选集Q2中图像进行重新排列，得到最终结果集R。