[发明专利]一种基于单向监督注意力的多模态标签推荐方法

权利要求书

1.一种基于单向监督注意力的多模态标签推荐方法，其特征是按如下步骤进行：

步骤1、构建多模态数据集合A；

步骤1.1、构建多模态数据的文本信息集合，记为T＝{t₁,t₂,…,t_k,…,t_K}，其中，t_k表示第k条文本信息，K为文本信息的总条数；所述第k条文本信息t_k包含的单词，记为t_k＝{w_1,k,w_2,k,…,w_n,k,…,w_N,k}，其中，w_n,k表示所述第k条文本信息t_k中第n个文本词，N表示文本信息的最大词汇长度；

步骤1.2、构建多模态数据的视觉信息集合，记为P＝{U₁,U₂,…,U_k,…,U_K}，其中，U_k表示第k条视觉信息，所述第k条视觉信息U_k包含的图片，记为U_k＝{p_1,k,p_2,k,…,p_m,k,…,p_M,k}，其中，p_m,k表示所述第k条视觉信息U_k中第m张图片，M表示视觉信息的最大图片数；

步骤1.3、构建多模态数据中的标签信息集合，记为Λ＝{Λ₁,Λ₂,…,Λ_k,…,Λ_K}，其中，Λ_k表示第k条标签信息，所述第k条标签信息Λ_k包含的标签，记为Λ_k＝{λ_1,k,λ_2,k,…,λ_o,k,…,λ_O,k}，其中，λ_o,k表示所述第k条标签信息Λ_k中第o个标签，O表示标签信息的最大标签数；由所有不同的标签信息构成标签空间Φ；

步骤1.4、由所述文本信息集合T、视觉信息集合P以及标签信息集合Λ构建多模态数据集合A＝{T,P,Λ}；

步骤2、获取文本信息的特征表示；

步骤2.1、对第k条文本信息t_k进行词嵌入，得到词向量X_k＝{x_1,k,x_2,k,…,x_n,k,…,x_N,k}，其中，x_n,k表示所述第k条文本信息t_k中第n个词向量，对于长度小于N的文本数据，填充零向量以达到长度N；

步骤2.2、采用双向GRU对词向量X_k进行处理，得到词级别的文本特征表示，记为其中，表示所述第k条文本信息t_k中第n个词级别的文本特征；

以n为当前时间步，对于第n个词向量x_n,k，GRU单元利用式(1)-式(3)分别得到更新门z_n,k、重置门r_n,k、候选状态从而根据第n-1个时间步的GRU单元输出h_n-1,k，利用式(4)得到第n个时间步的GRU单元输出h_n,k：

z_n,k＝σ(W_z·[h_n-1,k,x_n,k]+b_z) (1)

r_n,k＝σ(W_r·[h_n-1,k,x_n,k]+b_r) (2)

式(1)-式(4)中，⊙表示元素乘，σ表示sigmoid激活函数，W_z表示更新门z_n,k的权重矩阵，b_z表示更新门z_n,k的偏置向量，W_r表示重置门r_n,k的权重矩阵，b_r表示重置门r_n,k的偏置向量，W_h表示候选状态的权重矩阵，b_h表示候选状态的偏置向量，当n＝1时，令h_n-1,k＝0；

利用式(5)和式(6)分别得到前向GRU单元提取的前向隐特征表示后向GRU单元提取的后向隐特征表示从而利用式(7)得到词级别的文本特征表示

式(5)和式(6)中，分别代表前向、后向GRU单元；

步骤2.3、引入如式(8)和式(9)所示的自注意力机制，从而利用式(10)得到文本信息的特征表示

式(8)-式(10)中，为词级别的文本特征表示的隐藏表示，D为隐藏层维度，W_w为隐藏表示的权重矩阵，b_w为隐藏表示的偏置向量，为文本特征表示的注意力得分，为文本注意力得分的权重矩阵，L为文本特征维度；

步骤3、获取视觉信息的特征表示；

步骤3.1、通过预训练的VGG-16网络来提取图片区域特征：

将第m张图片p_m,k划分为G个区域，则得到图片区域集合其中，表示第m张图片p_m,k中第g个区域；并通过VGG-16网络，获取第m张图片p_m,k中第g个区域的特征表示

步骤3.2、通过基于文本的视觉注意力学习每张图片的特征表示：

利用式(11)和式(12)分别得到结合文本情境的图片区域特征表示和第g个区域的注意力得分从而利用式(13)得到第m张图片p_m,k的特征表示

式(11)-式(13)中，为图片区域特征表示的权重矩阵，为文本特征的权重矩阵，为图片区域注意力得分的权重矩阵，为图片区域注意力得分的偏置向量；

步骤3.3、通过注意力机制融合多张图片，最终得到视觉信息的特征表示：

式(14)-式(16)中，为第k条视觉信息中第m张图片的隐特征表示，为图片隐特征表示的权重矩阵，为图片隐特征表示的偏置向量，为第m张图片p_m,k的注意力得分，为图片注意力得分的权重矩阵，表示最终学习到的视觉特征；

步骤4、深度融合文本与视觉特征：

利用式(20)得到深度神经网络中第f层输出的中间特征从而得到深度神经网络输出的全局特征

式(20)中，ReLU表示线性整流函数，W_f表示中间特征的权重矩阵，b_f表示中间特征的偏置向量，f＝1,2,…,F，F表示深度神经网络的层数，当f＝1时，由文本特征与视觉特征进行拼接得到初始特征

步骤5、利用融合后的全局特征进行标签推荐；

步骤5.1、将全局特征输入分类器，从而利用式(18)得到标签的概率分布

式(18)中，W_p,b_p为分类器的权重矩阵与偏差向量；

步骤5.2、采用如式(19)所示的二元交叉熵作为目标函数J：

式(19)中，S表示所述多模态数据集合A中作为训练集的数据条数，表示训练集中第s条数据含有标签λ的实际概率，表示训练集中第s条数据含有标签λ的预测概率，λ∈Φ；

步骤5.3、设置最大迭代次数epoch_number，利用反向传播和梯度下降法对所述目标函数J进行训练，当迭代次数达到epoch_number时，停止训练，使得目标函数J达到最小，从而得到最优推荐模型用于对所输入的文本信息集合T、视觉信息集合P输出标签的概率分布并从中选取概率最大的前top个标签进行推荐。