[发明专利]基于自注意力的融合三元组信的短序列扩充电影推荐方法

权利要求书

1.一种基于自注意力的融合三元组信息短序列扩充电影推荐方法，其特征在于，所述方法包括以下步骤：

1)原始数据处理：把原始的用户观看电影的历史数据处理成[用户id、电影id、评分、时间戳]的格式，针对每部电影根据预先设定好的电影的关系schema为每部电影制作知识图谱作为电影的外部信息；

2)根据时间戳为每个用户制作观看的历史电影序列，以序列中第一个电影item 0作为下一项将要预测的item，以[item 1,item 2......item n]作为输入序列，使用单向Transformer模型反向训练模型，得到反向的预训练模型，用来生成增强数据，实现过程如下所述：

2.1)对于每个输入的电影item当作头实体，使用图卷积网络获取到它们的关系和尾实体的聚合信息kg_embedding作为该item的外部信息,其GCN公式定义为：

πⁱ_r＝g(i,r)

其中，i∈R^d和r∈R^d分别为电影item和关系r的表示，d为表示的维度，描述了关系r与电影item的重要性，是标准化的item关系得分，e为知识图谱中实体的表示，N(v)表示固定数量的邻居集，vⁱ_N(v)为聚合后的表示；

2.2)将item的嵌入item_embedding和item的三元组融合嵌入kg_embedding相加[item_embedding 1+kg_embedding 1,item_embedding 2+kg_embedding 2......item_embedding n+kg_embedding n]作为Transformer模块中的Q和K，将[item_embedding 1,item_embedding 2......item_embedding n]作为Transformer模块中的V，送入单向Transformer模型进行反向训练，预测item 0；

其中，Q和K为item本身和知识图谱聚合的叠加表示，V为item本身表示；

2.3)根据每一个位置的单向Transformer模块的输出与真实值计算交叉熵损失，利用Adam优化器优化模型，最终训练好的反向模型作为预训练模型，以下是损失函数：

其中x_i,t为模型输出H_t与所有item矩阵的点击值，a_t为时间步t的期望输出，pad表示一个填充项，s_t+1表示期望输出为下一个item，表示要预测的item，LOSS为交叉熵损失函数，x_at,t表示item t的输出与真实期望item的点击分数，x_j,y表示负样本的分数；

2.4)通过预训练模型输入[item 0,item 1,item 2......item n]预测前一个电影item-1，将item-1加到序列第一个位置形成新序列[item-1,item 0,item 1,item2......item n]，再将该序列送入预训练模型预测电影item-2，递归的重复此操作，最后得到k个原item序列前的伪item，将这k个伪item加到原序列前，得到扩充序列[item-k......item-2,item-1,item 0,item 1,item 2......item n]；

3)将扩充序列[item-k......item-2,item-1,item 0,item 1,item 2......item n-1]送入预训练模型进行正向模型的微调，根据输入的扩充长度的序列经过正向Transformer模型预测最后一项item n，微调的过程与反向训练一致，过程见2.2)、2.3)，经过训练微调后得到正向的预训练模型；

4)使用微调后的正向预训练模型，通过输入扩充序列[item-k......item-2,item -1,item 0,item 1,item 2......item n]经过正向Transformer模型预测该用户下一部将要观看的电影item n+1。