[发明专利]一种基于自注意力机制的序列化神经协同过滤推荐方法

说明书

本发明公开了一种基于自注意力机制的序列化神经协同过滤推荐方法，涉及推荐系统技术领域，本发明将与用户有过交互记录的商品ID整理成为用户历史行为记录序列；用户ID与商品ID进行one‑hot嵌入，得到用户特征向量与商品特征向量；将待推荐商品特征向量放在用户历史行为记录序列的末端，并输入到自注意力机制中去，得到具有丰富序列信息的待推荐商品特征向量；将具有丰富序列信息的商品特征向量与原始嵌入得到的用户特征向量与商品特征向量一起输入到神经协同过滤模型中计算，最后进行推荐。本发明消除了序列中的大部分噪声，捕获到了推荐场景下的长期依赖信息与短期依赖信息，得到更加准确的推荐结果。

技术领域

本发明涉及推荐系统技术领域，特别是一种基于自注意力机制的序列化神经协同过滤推荐方法。

背景技术

随着互联网规模的飞速发展，互联网上各种场景的数据也越来越多，因此用户在互联网上探索他们想要的东西也变得更加困难，基于这个原因，推荐系统被广泛用于各种场景中。构造推荐系统的一个关键难点是挖掘用户的潜在兴趣，以做出更准确的推荐。为了解决这个问题，研究人员从用户的历史行为序列中挖掘出用户的潜在兴趣，进行序列化推荐。与传统的推荐系统相比，序列化推荐系统能够从用户历史行为记录序列中捕捉到用户的长期依赖和动态偏好。最近几年来，序列化推荐已经成为推荐系统的一个技术热点。传统的序列化推荐模型主要包括序列模式挖掘模型、马尔可夫链模型和隐语义模型。序列模式挖掘模型从用户历史行为序列中挖掘出用户行为模式。这个模型的一个缺点是模型会产生大量的模式，一些不受欢迎的商品不会被推荐。马尔科夫链模型利用马尔科夫链来建立用户与商品之间的互动关系，但这种模型只能捕捉到短期的依赖关系，而忽略了长期的依赖关系。隐语义模型可以学习推荐系统中用户和商品的隐语义来进行推荐。这种模型很容易受到数据稀少的影响，有时不能做出准确的推荐。

湖南大学的专利申请“基于CNN和RNN的序列化推荐”(专利号：201811548205.8)，本发明提出了一种基于CNN(Convolutional Neural Network，卷积神经网络)和RNN(Recurrent Neural Network，循环神经网络)相结合的序列化推荐算法，该算法利用CNN的局部特征学习能力来捕捉最近历史行为数据中存在的相关关系，同时利用RNN的全局和序列学习能力来学习用户历史行为的长短期偏好，最后通过学习到的特征表达利用多层感知机预测用户未来会产生的行为并提供推荐，实验表明该算法的效果优于单一的基于CNN或RNN的序列化推荐。本发明具有很高的应用价值，可广泛应用于互联网电商、新闻门户和娱乐等多种推荐场景。该方法的缺点是，CNN和RNN网络无法判定序列中不同商品的重要程度，未能分辨出序列中的噪声信息，从而对推荐结果造成一定的影响。

上海交通大学的专利申请“基于商品关联关系的序列化推荐方法”(专利号：202111059171.8)，其特征在于以下步骤，获取交互数据步骤：从网络端获取用户与商品之间的交互数据；构建共生关系图步骤：令交互数据构建商品的共生关系图，所述共生关系图用关联关系图邻接矩阵进行表示；图卷积网络步骤：令关联关系图邻接矩阵进行图卷积操作，获得商品的关联性特征；推荐模型训练步骤：令商品的关联性特征输入推荐模型进行训练；序列化推荐步骤：令推荐模型输出商品关联关系的序列化推荐。该方法的缺点是，推荐中单纯的使用用户的序列化数据，未能考虑到用户的短期偏好，没有将全局的协同信息纳入到推荐过程中来。