[发明专利]一种融合知识图谱与情感分析的视频推荐方法

权利要求书

1.一种融合知识图谱与情感分析的视频推荐方法，其特征是按照如下步骤进行：

步骤1、融合通用知识图谱：

步骤1.1、获取用户u在一段时间内观看过的视频作为历史视频，并将历史视频的视频标题记为表示用户u观看过的第i个历史视频的视频标题，i∈[1,N_u]，N_u为用户u观看过的视频总量；同时获取推荐给用户u的M个候选视频的视频标题表示第j个候选视频的视频标题，j∈[1,M]，M为推荐给用户u的候选视频数目；

步骤1.2、分别提取所述第i个历史视频的视频标题与第j个候选视频的视频标题中的词向量，记为和其中，表示第i个历史视频的视频标题中第n个词向量，表示第j个候选视频的视频标题中第n个词向量，N为视频标题中词向量数量的最大值；

步骤1.3、标注视频标题{t_u,t_h}中的每个单词为实体词，并获取通用知识图谱中对应的实体，从而利用实体链接和消除歧义构建知识子图；

步骤1.4、利用知识图谱表示学习模型TransE分别提取所述知识子图中第i个历史视频的视频标题中的实体词对应的实体向量以及第j个候选视频的视频标题中的实体词对应的实体向量其中，表示第i个历史视频的视频标题中第n个单词对应的实体向量；表示第j个候选视频的视频标题中第n个单词对应的实体向量；

步骤1.5、根据所述实体向量和分别获取所述知识子图中与相应实体向量相互关联的其他实体向量，并将与相应实体向量相互关联的其他实体向量的平均值分别作为对应实体向量的实体上下文向量和

步骤1.6、将第n个词向量实体向量和实体上下文向量进行拼接，得到拼接后的第n个历史视频特征向量从而得到N个历史视频特征向量；

将第n个词向量实体向量和实体上下文向量进行拼接，得到拼接后的第n个候选视频特征向量从而得到N个候选视频特征向量；

步骤1.7、将N个历史视频特征向量和N个候选视频特征向量分别送入文本卷积神经网络中，并经过卷积、池化操作后，得到视频向量e(t)，包括：历史视频向量候选视频向量

步骤2、建立基于眼动数据的情感兴趣预测模型；

步骤2.1、利用眼动仪装置捕捉用户u观看第i个历史视频的眼动数据并进行归一化处理，得到第i个眼动向量从而得到眼动向量集合

步骤2.2、将第i个眼动向量输入广义回归神经网络的输入层中，并经过模式层的处理后，得到如式(1)所示的模式层中第k个神经元输出

式(2)中，为广义回归神经网络的输入，为眼动向量集合X_u中第k个眼动向量，σ为平滑参数，k∈[1,N_u]；

步骤2.3、利用式(2)和式(3)分别计算广义回归神经网络的求和层中S型神经元的第i个输出以及第r个T型神经元的第i个输出

式(3)中，y_k,r为模式层中第k个神经元与求和层中第r个T型神经元之间的连接权值，r＝1,2,3；

步骤2.4、利用式(4)得到广义回归神经网络的输出层中第r个神经单元的第i个输出值从而得到第i个眼动向量对应的视频情感向量进而得到

步骤2.5、使用r个神经单元的输出值分别对应中文简化版PAD情绪量表中P维情感值A维情感值和D维情感值从而利用式(5)、式(6)和式(7)将三维情感值与广义回归神经网络的输出进行关联，得到关联后的视频情感向量

步骤3、在用户向量e(u)嵌入过程中引入视频情感向量Y_u；

步骤3.1、将第i个历史视频的视频标题所对应的历史视频向量与用户u观看完第i个历史视频得到的视频情感向量进行拼接后，输入神经网络DNN进行情感融合，得到第i个历史视频的视频标题对应的历史视频最终向量从而得到历史视频最终向量集合

步骤3.2、利用式(8)构建用户向量e(u)；

步骤4、建立融合知识图谱与情感分析的视频推荐模型的损失函数；

步骤4.1、利用式(9)建立基于眼动数据的情感兴趣预测模型的损失函数L₁：

式(9)中，为用户u观看完第i个历史视频后填写中文简化版PAD情绪量表所获取的真实值，且为中文简化版PAD情绪量表中P维情感值的真实值，为中文简化版PAD情绪量表中A维情感值的真实值，为中文简化版PAD情绪量表中D维情感值的真实值；

步骤4.2、利用式(10)建立推荐模型的损失函数L₂：

式(10)中，表示用户u、用户u观看过的视频以及未看过的候选视频组成的三元组，sigmoid表示激活函数，和分别表示用户u对观看过的历史视频和未观看过的候选视频的偏好得分，λ₂表示正则化系数，||·||₂表示二范数正则化，W表示多层感知机的权值系数矩阵；

步骤4.3、利用式(11)建立情感兴趣预测模型与推荐模型组成的融合视频推荐模型的损失函数L：

L＝λ₁L₁+L₂    (11)

式(11)中，λ₁表示另一正则化系数；

步骤5、将用户向量e(u)与候选视频向量e(t_h)进行拼接后，输入所述多层感知机中预测点击率，并利用Adam优化器对所述融合视频推荐模型进行训练，使得损失函数L达到最小，从而得到最优融合视频推荐模型，并用于用户的个性化视频推荐。