[发明专利]基于多模态图卷积网络的时尚兼容度预测方法

说明书

本发明公开了一种基于多模态图卷积网络的时尚兼容度预测方法，进行服饰单品的多模态信息的挖掘利用；利用服饰属性信息作为高级语义并融合视觉信息引导类别子空间生成，通过动态图卷积网络进行多模态特征数据之间的交互融合；加入自注意机制模块将标题文本特征引入到多模态融合中，最终将服饰单品的多模态特征表示通过时尚兼容度预测器获得服饰套装的兼容度分数。与现有技术相比，本发明通过充分利用服饰单品的视觉、文本及属性等多模态信息，构建时尚兼容度预测器实现兼容度分数的精确计算；为解决时尚兼容度预测问题提供了新的方法思路，有效地增强特征表示能力，保证多模态特征的一致性和完备性。

技术领域

本发明涉及多媒体和大数据分析技术领域，特别是涉及一种基于AI算法的时尚兼容度预测方法。

背景技术

随着在线购物平台和时尚社交网站的蓬勃发展，时尚分析在多媒体计算研究领域受到广泛关注。合理的时尚搭配是指每个服饰单品之间在颜色、款式及风格上的协调与兼容。然而，在面对大量的服饰单品时，如何更好地选择服饰来搭配组合成一套合适得体的服装，依然是困扰很多人的难题。因此，建立科学有效的自动服饰搭配模型具有十分重要的意义。

多模态数据是通过不同领域或视角对同一个描述的对象获取到的数据，一般包括文本、图像、音频等信息。多模态融合可以实现对不同模态的数据进行整合，结合各模态数据的优点并减少在融合过程中造成的模态信息的损失，来达到增强特征表示的目的。目前，在时尚兼容度预测研究当中，对多模态信息的利用文本信息只是用来辅助的增强视觉信息从而提高模型准确性，文本特征和视觉特征的有效融合方式仍未得到充分的探索。

发明内容

基于上述背景技术中存在的问题，本发明提出了一种基于多模态图卷积网络的时尚兼容度预测方法，充分利用了服饰单品的多种模态信息实现时尚兼容度评分方法，从而解决服饰搭配评价问题。

本发明为解决上述问题而采取的技术方案如下：

一种基于多模态图卷积网络的时尚兼容度预测方法，该方法包括以下步骤：

步骤1、从包含多种模态信息的服饰单品数据中分别提取服饰单品包括上衣服饰单品和下衣服饰单品的视觉特征、标题文本特征，同时对所有单品的类别属性进行编码表示获取类别属性特征向量，实现服饰单品的多模态信息的挖掘利用；

步骤2、构建包含图像视觉特征、标题文本特征及类别属性特征向量的三元组数据集，划分成训练集、验证集和测试集，

将上衣服饰单品、下衣服饰单品的图像视觉特征分别嵌入到服饰类别属性特征向量中，得到融合视觉信息的类别子空间表示，并以此作为图节点输入到动态图卷积网络中，不断更新图节点特征表示与节点关联关系，获取不同类别子空间下的高级视觉语义表示；

步骤3、利用自注意力机制模块从服饰单品对应的标题文本特征中生成类别子空间权重，用于强化文本语义信息；

步骤4、将类别子空间权重与不同类别子空间下的高级视觉语义表示进行融合，获得上衣服饰单品、下衣服饰单品的多模态特征表示；

步骤5、将经过上述阶段融合后的多模态特征表示通过时尚兼容度预测器，计算得到最终的兼容度分数。

对视觉特征的提取采用VGGNet16模型，对标题文本特征的提取采用TextCNN模型，对类别属性信息的特征编码表示采用Glove Embedding模型。

在所述步骤2中，采用动态图卷积网络生成不同类别子空间下的高级视觉语义表示，如下式所示：