[发明专利]基于神经网络的多模态互补服装搭配方法、系统及介质

说明书

本发明公开了基于神经网络的多模态互补服装搭配方法、系统及介质，从服装的图片中获取视觉特征，从服装的文字描述中获取文本特征；利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间，得到视觉特征的隐含表示和文本特征的隐含表示；建立重建向量分别与输入特征之间的关系模型；建立服装兼容性模型；然后，基于服装兼容性模型，采用贝叶斯个性化排序算法构建兼容性偏好模型；建立视觉特征隐含表示和文本特征隐含表示的一致性模型；然后，建立服装的多模态隐含特征一致性模型；构建基于深度神经网络的多模态互补服装搭配模型；对已经构建的多模态互补服装搭配模型进行训练；利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐。

技术领域

本发明涉及基于神经网络的多模态互补服装搭配方法、系统及介质。

背景技术

现如今，除了对服装的生理需求外，越来越多的人们开始注重和追寻穿着的时尚、优雅、大方得体等等。然而，并不是每个人对服装搭配都有很好的品味。当面对海量的服装商品时，很多人会感到服装搭配非常的困难和厌烦。因此，我们开发一套有效的服装搭配方案来帮助人们为给定的服装找出协调又时尚的搭配。当前的服装搭配技术主要包括基于协同过滤的方法和基于内容的方法。其中，前者通过具有相似品味和偏好的用户历史行为进行推荐，如：用户的购买行为，用户对商品的文本描述和其它用户的点击购买行为等。这种方法存在冷启动的问题，即无法为一个没有任何相关历史行为的物品或用户进行推荐。后者基于物品间的视觉兼容性进行推荐。这种方法通常只考虑物品的视觉信息，不能全面的对物品之间的兼容性进行建模。另外，在服装搭配过程中还存在着稀疏性的问题。

发明内容

为了解决现有技术的不足，本发明提供了基于神经网络的多模态互补服装搭配方法、系统及介质，可以有效解决服装之间的稀疏性问题，并且可以通过挖掘物品的多模态关系全面的对不同服装间的兼容性进行建模。

作为本发明的第一方面，提供了基于神经网络的多模态互补服装搭配方法；

基于神经网络的多模态互补服装搭配方法，包括：

步骤(1)：从服装的图片中获取视觉特征，同时，从服装的文字描述中获取文本特征；

步骤(2)：利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间，得到视觉特征的隐含表示和文本特征的隐含表示；

步骤(3)：利用多重解码器将步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示解码为重建向量；建立重建向量分别与输入特征之间的关系模型；

步骤(4)：基于步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示，建立服装兼容性模型；然后，基于服装兼容性模型，采用贝叶斯个性化排序算法构建兼容性偏好模型；

步骤(5)：基于步骤(2)得到的视觉特征的隐含表示和文本特征的隐含表示，建立视觉特征隐含表示和文本特征隐含表示的一致性模型；然后，建立服装的多模态隐含特征一致性模型；

步骤(6)：基于步骤(3)、步骤(4)和步骤(5)的计算结果，构建基于深度神经网络的多模态互补服装搭配模型；对已经构建的多模态互补服装搭配模型进行训练；利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐。

作为本发明的进一步改进，步骤(1)中：

所述服装，包括：上衣、下衣和鞋子；

所述服装的图片，是指上衣、下衣或鞋子的彩色图片；

所述服装的文字描述，包括：服装的样式、功能和类别；

所述视觉特征，包括：上衣的视觉特征、下衣的视觉特征和鞋子的视觉特征；

所述文本特征，包括：上衣的文本特征、下衣的文本特征和鞋子的文本特征；

作为本发明的进一步改进，步骤(1)中：