[发明专利]一种基于美学特征的服装搭配方法

摘要

本发明公开了一种基于美学特征的服装搭配方法，该方法考虑美学特征的情况下，能够为用户提供个性化服装搭配方案，算法由搭配关系网络、视觉语义网络及美学特征网络构成，在搭配关系网络中，从现有的套装中挖掘服装单品之间的搭配关系，在视觉语义网络中，从服装的文本描述中学习服装搭配的语义关系，在美学特征网络中挖掘服装搭配的美学特征，所发明的方法能够对用户现有的服装搭配方案进行评价，也能为用户提供视觉协调、符合美学特征的个性化服装搭配方案。

主权项

1.一种基于美学特征的服装搭配方法，其特征在于，该方法输入一个服装单品的图像序列，序列中具有Y幅图像，1≤Y≤10，序列中图像分辨率均为f×f的RGB图像，200≤f≤1200，具体包括以下步骤：步骤1：构建服装搭配数据集R收集数据前，定义b个美学特征关键词，10≤b≤15，再根据这些关键词从shoplook.io和ssense.com网站分别收集K组和S组服装搭配的图像数据，10000≤K≤15000，20000≤S≤25000，收集的所有组图像数据要满足条件：包含一个美学特征关键词B_i且用户满意度的投票数大于T，其中，1≤i≤b，5≤T≤20，利用这些组数据构建服装搭配数据集R，每组数据D_i包含L幅服装单品图像{I_k|0≤k≤L‑1}，3≤L≤10，0≤i≤K+S‑1，每组的单品图像都包含以下服装类别的有序服装实例：上衣、裤子、鞋子、帽子，收集的I_k都附有与类别相关的文本描述句子C_k，0≤k≤L‑1，将C_k分割成q个描述性单词{W_i|0≤i≤q‑1}，2≤q≤50；将R的各组图像缩放为N×N，N为299、598或者1196，统计R中所有描述性单词的词频，从C_k中删除词频低于H的描述性单词，20≤H≤50；步骤2：构建神经网络神经网络构建包括四个部分：特征提取网络F‑Net、搭配关系网络D‑Net、视觉语义网络V‑Net及美学特征网络A‑Net；将D_i中每幅图像分辨率均缩放到299×299，张量形状为299×299×3，然后输入到F‑Net，F‑Net的输出结果是D_i组内每幅图像提取的特征{A_k|0≤k≤L‑1}，其张量形状为h×1，h为512、1024或者2048，把F‑Net输出的特征输入到D‑Net、V‑Net及A‑Net；对于D‑Net的结构设置为双向LSTM，输出的是搭配单品在J个候选单品中出现的概率，其中LSTM前向预测的概率为P_t，后向预测的概率为Q_t，输出的张量形状均为J×1，J为32、48或者64；对于V‑Net的输入，除了F‑Net输出的特征以外，还有{C_k|0≤k≤L‑1}，输出是F‑Net输出特征的编码{U_k|0≤k≤L‑1}以及利用词袋模型编码得到的文本特征向量{V_k|0≤k≤L‑1}，U_k和V_k的张量形状都为h×1；A‑Net的输出为网络预测的D_i的美学特征O_i，1≤i≤b，张量形状为b×1；在网络结构设置时，F‑Net采用Inceptionv3的网络结构，将最后一个全连接层的神经元个数设为h，D‑Net设置为单层的双向LSTM网络，含h个隐藏单元，V‑Net设置为单层的全连接结构，神经元个数为h，全连接层输出的结果采用ReLU函数进行激活；A‑Net设置为3层全连接结构，神经元的个数分别为G、G、b，其中G为512、1024或者2048，前两个全连接层输出的结果采用ReLU函数进行激活；步骤3：神经网络的训练将R按照8∶1∶1的比例划分为训练集，评估集和测试集，利用训练集训练网络模型，利用评估集，评估训练过程中网络的性能，利用测试集对网络性能进行测试，F‑Net、D‑Net、V‑Net及A‑Net的训练过程同时进行，训练的轮次为100次；D‑Net训练时，定义的损失为：V‑Net训练时，定义的损失为：其中，k≠i，m代表两个特征向量之间距离的阈值，0.1≤m≤0.5，d表示两个特征向量之间的Cosine距离，V_i是U_k对应单品的同组其它单品的文本特征，假设U_i是V_k对应单品的同组其它单品的图像特征；对A‑Net进行训练时，定义的损失为：训练模型的总损失为：E＝E_D+λ_VE_V+λ_AE_A#(4)其中，λ_V和λ_A分别表示损失E_V和E_A的权重系数，0≤λ_V≤1，0≤λ_A≤1；步骤4：服装搭配操作从R中选取多幅不同种类的服装单品图像，构成服装搭配初始图像序列，利用序列中第一个候选单品，利用已经训练好的网络，生成初始搭配方案，再将初始图像序列中其它候选单品替换初始搭配方案中的单品，将得到的单品序列输入到网络中，从D‑Net的双向LSTM输出的图像序列得到最终的服装搭配方案。