[发明专利]一种基于文本监督注意力的多模态广告流行度预测方法

权利要求书

1.一种基于文本监督注意力的多模态广告流行度预测方法，其特征是按如下步骤进行：

步骤1、构建多模态广告数据集合D，用|D|表示多模态广告数据集合D的数目，所述多模态广告数据集合D中任意第i条广告包含文本描述、图像、标签、标题、作者、时间的多模态信息，i∈[1,|D|]；

步骤1.1、构建多模态广告数据集合D的文本信息集合，所述文本信息集合中第i条广告的文本信息，记为其中，w_i,n表示第i条广告的文本信息d_i中第n个词汇，N_i表示文本信息d_i的总词汇量，n∈[1,N_i]；

步骤1.2、构建多模态广告数据集合D的视觉信息集合，所述视觉信息集合中第i条广告的视觉信息I_i，记为其中，p_i,m表示第i条广告的视觉信息I_i中第m个图片，M_i表示视觉信息I_i的总图片数，m∈[1,M_i]；

步骤1.3、构建多模态广告数据集合D的其他辅助信息集合，其中，第i条广告的标签信息集合记为l_i，第i条广告的标题信息集合记为t_i，第i条广告的作者信息集合记为a_i，第i条广告的时间信息集合记为T_i；

步骤2、提取多模态广告的特征；

步骤2.1、基于降噪主题模型获取文本信息的特征表示；

步骤2.1.1、定义所有文本信息集合的主题分布为θ＝{θ₁,θ₂,…,θ_i,…,θ_|D|}，其中，θ_i表示第i条广告的文本信息d_i的主题分布，且服从参数为α的狄利克雷分布，定义第i条广告的文本信息d_i的主题分布θ_i由K个与流行度预测相关的主题{θ_i1,θ_i2,…,θ_ik,…,θ_iK}和一个背景主题组成，其中，θ_ik表示第i条广告的文本信息d_i在第k个与流行度预测相关的主题上的概率分布值，k∈[1,K]；

步骤2.1.2、令φ_k表示第k个主题词分布，且φ_k服从参数为β₀的狄利克雷分布，并有φ_k＝{φ_k1,φ_k2,…φ_kv,…φ_kV}，其中，φ_kv表示第v个词汇被分配给第k个主题的概率，v∈[1,V]，V表示所有广告的文本信息中不重复的词汇总数；

令表示背景主题下的词分布，且服从参数为β₁的狄利克雷分布，并有其中，表示第v个词汇被分配给背景主题的概率；

步骤2.1.3、定义二元指示变量b＝(b₁,b₂,...,b_i,...,b_|D|)，其中，b_i表示第i个广告的文本信息d_i中所有词汇的主题所属情况，并有其中，b_in第i条广告的文本信息d_i中第n个词汇w_i,n的主题所属情况，且服从伯努利分布；

若b_in＝1，表示第i条广告的文本信息d_i中第n个词汇w_i,n属于与流行度预测相关的主题，则定义第i条广告的文本信息d_i中第n个词汇的与流行度预测相关的主题编号为z_in，且服从参数为θ_i的多项式分布；定义第i条广告的文本信息d_i的第n个词汇w_i,n服从参数为的多项式分布，其中，表示第i条广告的文本信息d_i的第n个词汇w_i,n所属的与流行度预测相关的第z_in个主题下的词概率分布；

若b_in＝0，表示第i条广告的文本信息d_i的第n个词汇w_i,n属于背景主题；定义第i条广告的文本信息d_i的第n个词汇w_i,n服从参数为的多项式分布；

步骤2.1.4、使用式(1)～式(3)所示的坍塌式吉布斯抽样分别计算第i条广告的文本信息d_i的主题分布θ_i、第k个与流行度预测相关的主题下的词分布φ_k和背景主题下的词分布

式(1)～式(3)中，表示第i条广告的文本信息d_i中分配到第k个与流行度预测相关的主题下的词汇的数量；表示二元变量b为1时，所有文本信息中第v个词汇分配到第k个与流行度预测相关的主题下的数量；表示二元变量b为0时，所有文本信息中第v个词汇分配到背景主题下的数量；

根据第k个与流行度预测相关的主题下的词分布φ_k，取概率最大的前E个词汇对第k个与流行度预测相关的主题进行向量表征，并结合第i条广告的文本信息d_i的主题分布θ_i，得到文本信息的特征矩阵其中，表示第i条广告的文本信息d_i中第k个与流行度预测相关的主题的特征表示；

步骤2.2、通过预训练的VGG-16网络来提取图片区域特征；

将第i条广告的视觉信息I_i的第m张图片p_i,m划分为Z个区域，得到图片区域集合其中，表示第i条广告的视觉信息I_i的第m张图片p_i,m中第z个区域；将第z个区域输入VGG-16网络，并输出第m张图片p_i,m中第z个区域的特征表示v_i,m,z，从而得到图片区域的特征表示集合V_i,m＝[v_i,m,1,…,v_i,m,z,…,v_i,m,Z]；

步骤2.3、获取其他辅助信息的特征表示；

步骤2.3.1、获取标签和标题信息的特征表示；

将第i条广告的标签信息l_i的第j个标签l_i,j表示为独热编码y_i,j，将第i条广告的标签信息l_i的所有标签均表示为相应的独热编码并构成编码向量后输入到LSTM模型，得到标签信息l_i的特征向量；

由标签信息l_i的特征向量构造标签信息l_i的标签特征矩阵并进行均值池操作后得到第i条广告的标签信息l_i的特征表示f_i^label；同理，得到第i条广告的标题信息t_i的特征表示f_i^title；

步骤2.3.2、获取作者信息的特征表示；

使用作者信息集合a_i的粉丝数f_i^followers，作者信息集合a_i的关注数f_i^followings，作者信息集合a_i的作品数f_i^works作为第i条广告的作者信息集合a_i的特征表示，记为f_i^author＝[f_i^followers,f_i^followings,f_i^works]；

步骤2.3.3、获取时间信息的特征表示；

将第i条广告的时间信息集合T_i的小时f_i^hour、星期f_i^week、日f_i^day、月f_i^month、年f_i^year作为第i条广告的时间信息T_i的特征表示作，记为f_i^time＝[f_i^hour,f_i^week,f_i^day,f_i^month,f_i^year]；

步骤3、引入基于文本的注意力机制；

步骤3.1、引入如式(4)和式(5)所示的注意力机制，从而利用式(6)得到第i条广告的文本信息d_i的特征表示Q为文本特征维度：

式(4)～式(6)中，为词级别的文本特征表示的隐表示，S为隐藏层维度，W_topic为隐表示的权重矩阵，b_topic为隐表示的偏置向量，α_i,k∈R为文本特征表示的注意力得分，W_a为文本注意力得分的权重矩阵，tanh表示正切激活函数，表示文本特征表示的隐表示，k′∈[1,K]；

步骤3.2、通过基于文本的注意力机制得到每张图片的特征表示；

利用式(7)和式(8)分别得到结合文本信息的图片区域特征表示和第z个区域的注意力得分α_i,m,z∈R，从而利用式(9)得到第m张图片p_i,m的特征表示

式(7)～式(9)中，W_region为图片区域特征表示的权重矩阵，W_text为文本特征表示的权重矩阵，W_v为图片区域注意力得分的权重矩阵；表示第i条广告的视觉信息I_i中第m张图片p_i,m中第z′个区域的特征表示，z′∈[1,Z]，⊙表示元素乘积；

步骤3.3、使用注意力机制融合多张图片的特征，最终得到第i条广告的视觉信息I_i的特征表示

利用式(10)得到第i条广告的视觉信息I_i中第m张图片p_i,m的隐特征表示h_i,m∈R^Q，利用式(11)计算第m张图片p_i,m的注意力得分a_i,m∈R，利用式(12)得到最终学习到的第i条广告的视觉信息I_i的特征表示

式(10)～式(12)中，W_image为图片隐特征表示的权重矩阵，b_image为图片隐特征表示的偏置向量，W_h为图片注意力得分的权重矩阵；h_i,m′表示第i条广告的视觉信息I_i中第m′张图片p_i,m′的隐特征表示，m′∈[1,M_i]；

步骤4、融合多模态广告的文本与视觉特征；

利用式(13)所示的线性函数对文本特征与视觉特征进行融合，得到第i条广告的融合表示

式(13)中，为外积；[]表示向量矩阵的线性化；

步骤5、利用融合后的全局特征预测流行度得分；

步骤5.1、将连接起来，得到第i条广告的全局特征f_i^global，从而得到所有广告的全局特征f^global并输入如式(14)所示的分类器中预测流行度得分

式(14)中，W_g和b_g为分类器的权重矩阵与偏差向量；

步骤5.2、采用如式(15)所示的二元交叉熵作为目标函数J：

式(15)中，C表示所述多模态数据集合D中作为训练集的数据条数，y_c表示训练集中第c条广告的真实流行度得分，表示训练集中第c条广告的预测流行度得分；1＜C＜|D|；

步骤5.3、设置最大迭代次数epoch_number，利用反向传播和梯度下降法对目标函数J进行训练，使得J达到最小，当迭代次数达到epoch_number时，停止训练，从而得到最优预测模型，用于对所输入的多模态广告数据进行流行度得分的预测。