[发明专利]基于多模态视频内容和多任务学习的视频推荐方法

权利要求书

1.一种基于多模态视频内容和多任务学习的视频推荐方法，其特征在于，所述的视频推荐方法包括下列步骤：

S1、采用深度学习技术对视频内容进行分析，通过Inception-V3模型、3维卷积神经网络分别提取视频静态特征、动态特征构成视觉特征，通过VGGish模型提取音频特征，通过统计视频标题中每个词在该视频文本词库中出现的频率获得视频文本特征；

S2、采用注意力机制学习视频各模态特征的权重，最后将各模态特征进行加权和获得视频特征表示，其中，所述的视频各模态特征包括视觉特征、音频特征、视频文本特征；

S3、将用户和视频作为节点构成用户-视频社交网络，通过深度游走方法学习网络中顶点的向量表示，并作为用户社会关系的特征表示，其中，用户-视频社交网络的顶点表示用户；

S4、基于注意力机制学习有效的特征组合，并与原始特征进行拼接融合作为深度神经网络的输入，学习多域特征表示；

其中，所述的步骤S4包括：

S41、多域特征中的离散数据进行独热编码后经过嵌入矩阵降维，所有连续特征拼接后，通过一层全连接转换成同等维度的向量；

S42、采用注意力机制学习有效的特征组合，通过注意力机制学习不同特征之间交互的权重，权重计算公式如下：

e_inter＝[a_0,0e₀e₀,a_0,1e₀e₁,…a_i,je_ie_j]，

其中e_i为第i个特征，e_ie_j为特征元素级别相乘，相乘后维度不变，为第i个特征与第j个特征交互的注意力得分，注意力得分经过归一化得到a_i,j，表示特征交互的权重，e_inter为多域特征两两交互构成的交叉特征，W、h是注意力网络的可训练参数，b表示偏置；

S43、原始特征及其基于注意力的交叉特征进行拼接融合后作为输入，通过多层感知机输出的结果作为多域特征最终的表示；

S5、基于上述步骤生成的特征嵌入作为多任务学习中各任务之间共享的部分，同时保留各任务特定的输出层生成预测结果。

2.根据权利要求1所述的基于多模态视频内容和多任务学习的视频推荐方法，其特征在于，所述的步骤S1包括：

S11、对视频抽帧，利用经过预训练的经典图像处理模型Inception-V3模型提取每一帧视频的静态特征，最后通过平均池化层融合每一帧的信息作为视频的静态特征，利用3维卷积神经网络提取视频的动态特征；

S12、提取音频信息，利用经过预训练的VGGish模型提取视频的音频特征；

S13、提取视频标题信息，统计每个词在该视频文本词库中出现的频率作为视频文本特征；

S14、采用PCA方法对视频静态特征、视频动态特征、音频特征进行降维，同时视频静态特征和视频动态特征进行拼接构成视觉特征。

3.根据权利要求1所述的基于多模态视频内容和多任务学习的视频推荐方法，其特征在于，所述的步骤S2包括：

S21、融合用户特征，通过注意力机制学习用户与视频各模态之间的依赖关系，即学习用户分配视觉特征、音频特征、视频文本特征的权重，由以下公式计算：

其中m∈{v,a,t}分别表示视觉模态、听觉模态和文本模态，为各模态求得的注意力得分，注意力得分经过归一化得到a^m，表示用户对各模态的偏好，该用户对各模态的偏好等价于用户对各模态的权重，则表示从视频中提取出来的视觉特征、听觉特征和文本特征，e_U是用户特征，和是注意力网络的可训练参数，b表示偏置；

S22、视频各模态特征进行加权和获得该视频最终的特征表示。