[发明专利]一种基于单向监督注意力的多模态标签推荐方法

说明书

本发明公开了一种基于单向监督注意力的多模态标签推荐方法，其步骤包括：1.构建多模态数据集合并表示，2.获取文本信息的特征表示，3.获取视觉信息的特征表示，4.深度融合文本与视觉特征，5.利用融合后的全局特征进行标签推荐。本发明在处理标签推荐任务时，能够综合利用文本与视觉信息，以得到有效的数据特征表示，从而能提高推荐精度。

技术领域

本发明涉及多模态数据的信息检索技术领域，具体涉及一种基于多模态数据的标签推荐方法。

背景技术

标签是一种对对象特征进行描述的关键词，它允许用户根据偏好自由地选择相关词语指派给目标。标签不仅能够高度概括对象的关键信息，还可以通过构建内链，实现对象间的互联，形成关系网络。通过标签系统，营销者可以更加清晰明了的展示产品的相关重要信息；消费者能够增强产品检索的有效性，提高用户体验；平台能够更加有效的追踪和管理营销者生成内容。尽管标签在对于内容组织与消费方面的重要性已经被证实，但目前仍然只有相对较少的文章包含用户标签。因此，标签推荐成为了一项必需且重要的任务。

近些年来，研究人员已使用了多种方法去完成标签推荐任务，例如协同过滤、生成模型、深度神经网络等。虽然在这个话题上已经有很多的研究，但大多数的研究都集中在使用文本特征。然而，根据统计，超过42％的推特推文含有多模态数据。图片特征同样可以提供丰富的信息来帮助我们处理标签推荐任务。此外，图片与文本所展示的信息可能是互补的，二者共同作用才能更加全面地反映对象的特征。因此，仅仅使用文本特征去解决标签推荐任务是不够的。虽然目前已经有一些研究提出了结合文本与图片特征的多模态模型，但将它们运用到标签推荐任务上都存在着一些不足。文献[Vqa:Visual questionanswering,2015]通过提取文本与图片全局特征向量进行元素乘来建模对象特征。该方式忽略了一个问题：标签并不一定与图像及文本的所有部分都存在关联。采用全局特征反而会引入噪声，导致推荐精度下降。文献[Hashtag Recommendation for MultimodalMicroblog Using Co-Attention Network,2017]将一种协同注意力机制引入标签推荐任务来融合图片与文本特征，但该机制由文献[Hierarchical co-attention for visualquestion answering,2016]提出，最初被用于视觉问答任务。由于视觉问答是对文本与图片特征进行匹配，主要关注图片与文本的共性，所以使用该机制时容易忽略文本或图片中独有的部分。文献[AMNN:Attention-Based Multimodal Neural Network Model forHashtag Recommendation，2020]采用自注意力机制，分别提取文本与图片特征，然后通过对文本与图片特征进行简单求和得到总体特征进行标签推荐，但该方式没有考虑到文本与图片特征间的信息交互。如何有效的提取并融合图片与文本特征，仍然是一个需要研究的问题。此外，先前对于多模态数据的研究中，每条数据大都只含有一张图片。但是在很多情况下，例如微博帖子中，每篇文章并不只含有一张图片，而且并不一定所有图片都对标签推荐任务有帮助。如何有效地利用这些图片的信息，也是值得研究的问题。

发明内容

本发明为了克服现有技术存在的不足之处，提出一种基于单向监督注意力的多模态标签推荐方法，以期在处理多模态数据的标签推荐任务时，能够综合利用文本与视觉信息，以快速且准确地学习出数据特征表示，从而提高标签推荐的准确性和精度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于单向监督注意力的多模态标签推荐方法的特点是按如下步骤进行：

步骤1、构建多模态数据集合A；