[发明专利]基于多模态图卷积网络的时尚兼容度预测方法

权利要求书

1.一种基于多模态图卷积网络的时尚兼容度预测方法，其特征在于，该方法包括以下步骤：

步骤1、从包含多种模态信息的服饰单品数据中分别提取服饰单品包括上衣服饰单品和下衣服饰单品的视觉特征、标题文本特征，同时对所有单品的类别属性进行编码表示获取类别属性特征向量，实现服饰单品的多模态信息的挖掘利用；

步骤2、构建包含图像视觉特征、标题文本特征及类别属性特征向量的三元组数据集，划分成训练集、验证集和测试集，

将上衣服饰单品、下衣服饰单品的图像视觉特征分别嵌入到服饰类别属性特征向量中，得到融合视觉信息的类别子空间表示，并以此作为图节点输入到动态图卷积网络中，不断更新图节点特征表示与节点关联关系，获取不同类别子空间下的高级视觉语义表示；

步骤3、利用自注意力机制模块从服饰单品对应的标题文本特征中生成类别子空间权重，用于强化文本语义信息；

步骤4、将类别子空间权重与不同类别子空间下的高级视觉语义表示进行融合，获得上衣服饰单品、下衣服饰单品的多模态特征表示；

步骤5、将经过所述步骤4得到的融合后的多模态特征表示通过时尚兼容度预测器，计算得到最终的兼容度分数，时尚兼容度预测器由一个多层感知机构成，将上衣和下衣服饰单品的多模态特征表示拼接后，输入到多层感知机中进行兼容度分数计算，兼容度分数的计算公式如下式所示：

其中，y表示服饰搭配的兼容度分数，和分别上衣服饰单品和下衣服饰单品的多模态特征表示，ReLU(·)表示激活函数ReLU，σ(·)表示Sigmoid函数，W₁表示第一层全连接层的权重，b表示第一层全连接层的偏置项，W₂表示第二层全连接层的权重。

2.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法，其特征在于，对视觉特征的提取采用VGGNet16模型，对标题文本特征的提取采用TextCNN模型，对类别属性信息的特征编码表示采用Glove Embedding模型。

3.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法，其特征在于，在所述步骤2中，采用动态图卷积网络生成不同类别子空间下的高级视觉语义表示，如下式所示：

其中，表示第i个上衣服饰单品经过动态图卷积网络后更新的节点特征矩阵表示，LReLU(·)表示激活函数LeakyReLU，表示第l-1层动态图卷积网络的图节点特征表示，表示第l层动态图卷积的邻接矩阵，表示动态图卷积网络的状态更新权值，表示Z^t的第m列向量，C表示所有服饰类别属性的数量，d_z表示动态图卷积网络的图节点特征维度；同样地，得到第j个下衣服饰单品关于不同类别子空间下的高级视觉语义表示表示实数集，分别表示实数集的大小为C×d_z与d_h×2d_h。

4.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法，其特征在于，在所述步骤3中，类别子空间权重矩阵如下式所示：

其中，表示第i个上衣服饰单品子空间权重矩阵，表示提取到的标题文本特征，表示生成查询矩阵的权重，表示生成键矩阵的权重，表示生成值矩阵的权重，表示的第m列向量，d_k为比例缩放因子；同样地，得到下衣服饰单品的子空间权重矩阵表示实数集，表示实数集大小为C×1。

5.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法，其特征在于，在所述步骤4中，进行融合后的上衣服饰单品的多模态特征表示如下式所示：

其中，表示第i个上衣服饰单品的多模态特征表示向量，表示第i个上衣服饰单品的视觉特征表示向量，表示第i个上衣服饰单品的视觉特征重构矩阵，表示上衣关于不同类别子空间下的高级视觉语义表示矩阵，表示上衣子空间权重矩阵，d_e表示多模态特征表示的维度；同样地，得到下衣服饰单品的多模态特征表示向量表示实数集，表示实数集为d_e维的列向量。