[发明专利]一种基于深度学习的多模态图文推荐方法及设备

说明书

本发明公开一种基于深度学习的多模态图文推荐方法及设备，方法包括用一种跨模态图文检索模型MMDNN，其次，将MMDNN用于推荐系统之中，利用正负反馈聚类中心计算模块PNFCCCM和用户的正负反馈历史记录，计算用户的正负反馈聚类中心，结合数据的相似度得分和正负反馈得分，从数据库中找出与用户历史记录中综合得分最高的几条数据，使用MMDNN模型从数据库中找出与这几条数据对应的另一种模态的数据，最后，把成对图‑文资源推荐给用户，并且根据用户的反馈更新用户的历史记录和用户的正负反馈聚类中心，实现多模态图文推荐。

技术领域

本发明属于计算机科学与技术应用领域，具体涉及一种基于深度学习的多模态图文推荐方法及设备。

背景技术

目前，大多数推荐系统都侧重于提供单一模式的内容，如利用图片推荐图片，利用文本推荐文本。事实上，图片和文本不同的形式的资源，在描述相同的语义时存在着不平衡和互补的关系，图像通常可以包含更多文本无法显示的细节，文本具有表达高层次意义的优势。所以，用户更需要多模态结合的信息资源，跨模态检索技术更令人关注。跨模态检索是根据用户输入一种模式的信息，它可以返回多种模式结合信息的一种技术。目前，许多跨模态检索方法还仅仅只应用在检索领域，还未见将其应用到推荐系统领域。并且这些跨模态检索方法存在检索精度不足，耗费时间较长等缺点。大部分的推荐系统仅仅考虑了用户正反馈的情况，其中用户的负反馈记录中同样存在着许多可以利用的信息，因此，有必要提升跨模态检索方法的质量和效率。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于深度学习的多模态图文推荐方法及设备，通过设计一种高效的跨模态图文检索方法，并将其应用到推荐系统之中，实现根据用户的个人偏好，向用户推荐其所需要的图文结合的信息资源的目的。

为了实现上述目的，本发明采用的技术方案是，一种基于深度学习的多模态图文推荐方法，包括以下步骤：

基于用户的历史记录采用跨模态检索模型计算用户的正反馈和负反馈的聚类中心点，所述历史记录包括图像和文本；

从用户历史记录中挑选出用户评分较高的前N条历史记录；

提取所述N条历史记录的特征，根据所述特征得到N条历史记录的所属类别；

用跨模态检索模型从与所述N条历史记录模态相同的数据库中提取同类型的数据；

计算所提取同类型的数据和所述N个历史记录的相似度得分，将所述相似度得分按照倒序排列，选取前M项相似度得分对应的历史记录；

使用所述正反馈和负反馈的聚类中心点分别计算所述M项中每一项历史记录的正反馈分数和负反馈分数；

根据M项相似度得分中每一项的相似度得分及所述正反馈分数和负反馈分数，计算所述M项历史记录中每一项数据的总得分，并按照所述总得分倒序排列，选取前K个数据；

针对所述K个数据中的每一项数据，用跨模态检索模型从文本数据库或图像数据库中找到与之对应的K个数据；

将所述前K个数据和文本数据库或图像数据库中的K个数据对应结合，形成K项图像-文本对，即得到推荐结果。

跨模态检索模型用于数据特征的提取，跨模态检索模型训练的过程分为两个阶段：

在第一个阶段，对于图像，提取图像模态内的表示和带有文本信息的图像模态间的表示；对于文本，提取文本模态内的表示和带有图像信息的文本模态间的表示；

在第二个阶段，把图像模态内的表示和图像模态间的表示结合起来，形成图像综合表示；同时，把文本模态内的表示和文本模态间的表示结合起来，形成文本综合表示，然后利用栈式对应自编码器和约束函数在图像和文本的综合表示之间建立联系，同时学习到图像和文本的最终表示。

跨模态检索模型通过以下过程进行训练得到：