[发明专利]一种基于文本监督注意力的多模态广告流行度预测方法

说明书

本发明公开了一种基于文本监督注意力的多模态广告流行度预测方法，其步骤包括：1.构建多模态广告数据集合并表示，2.提取多模态广告的特征，3.引入基于文本的注意力机制，4.融合多模态广告的文本与视觉特征，5.利用融合后的全局特征预测广告的流行度得分。本发明在预测流行度得分时，能够综合利用多模态广告中的文本与视觉信息，并有效降低噪声信息的影响，以得到有效的数据特征表示，从而能提高多模态广告的预测精确度。

技术领域

本发明涉及多模态数据的预测领域，具体涉及一种基于文本注意力的多模态广告流行度预测方法。

背景技术

在Web 2.0时代，在线社交媒体(如Twitter和Facebook)极大地便利了我们的日常生活。每天都有大量的文字和视觉内容在社交媒体平台上生成并传播。一个有趣的发现是，有些内容可以获得数百万的点击、点赞、分享和评论，而有些内容则只有较少的关注和传播，这一发现促使研究人员分析这些内容在社交媒体上的流行度。流行度预测的任务是估计用户与给定内容之间的交互次数(如浏览次数或点赞次数)，或者从大量信息中提前识别出潜在的热门内容。目前，精准流行度预测由于其广泛的应用，如广告商决策、内容推荐、舆情监测等，越来越受到学术界和业界的重视。

最近，社交媒体内容的流行度预测成为了一系列研究的重点。其核心思想是利用各种特征或时间序列模式，建立回归模型或分类模型进行流行度预测，主要使用文本特征和视觉特征进行预测，文献[Image popularity prediction in social media usingsentiment and context features.in Proceedings ofthe 23rdACM internationalconference on Multimedia.2015]结合了视觉情感特征和上下文特征(如标签和标题)来进行图像流行度预测。文献[A multiple feature fusion approach with deep neuralnetworks.in Proceedings of the 27th ACM International Conference onMultimedia.2019]使用深度神经网络从图像和文本中学习高级表示，然后将这些特征输入回归模型，预测从Flickr收集的帖子的流行度。虽然这些方法结合了视觉特征和文本特征，但它们只考虑对应于文本内容(如帖子)的单个图像的影响。此外，对于图像或文本中不相关和不重要的部分处理的忽视，使得这些方法引入噪声信息，导致预测偏差。因此如何有效利用社交媒体生成内容的文本和图片信息来预测该内容的流行度是一个值得研究的问题。

发明内容

本发明为了克服现有技术存在的不足之处，提出一种基于文本监督的多模态广告流行度预测方法，以期在处理多模态数据的流行度预测任务时，综合利用文本与视觉信息及其他辅助信息并有效降低噪声，以快速且准确地学习出数据特征表示，从而提高流行度预测的准确性和精度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于文本监督注意力的多模态广告流行度预测方法的特点是按如下步骤进行：

步骤1、构建多模态广告数据集合D，用|D|表示多模态广告数据集合D的数目，所述多模态广告数据集合D中任意第i条广告包含文本描述、图像、标签、标题、作者、时间的多模态信息，i∈[1,|D|]；

步骤1.1、构建多模态广告数据集合D的文本信息集合，所述文本信息集合中第i条广告的文本信息，记为其中，w_i,n表示第i条广告的文本信息d_i中第n个词汇，N_i表示文本信息d_i的总词汇量，n∈[1,N_i]；