[发明专利]一种基于注意力的多兴趣序列推荐方法及系统

说明书

本发明公开了一种基于注意力的多兴趣序列推荐方法及系统，提出了一个模型MUIR，该模型使用多个向量表示用户的不同层面的兴趣，并能够为用户提供多样化的推荐结果。采用基于自注意力的方法学习低级层面的表示，并利用上下文信息和辅助信息学习另一更高层级的表示，在不增加太多额外成本的情况下，显著提高了总体综合训练效率。设计了两个基于自注意力的模块，并尝试在学习过程中非侵入地结合辅助信息和会话上下文信息，完成了对传统自注意力模型的性能超越。设计的MLP的融合模块通过考虑最近交互的项来平衡本地级和全局级表示，这个模块能够计算不同兴趣向量的召回数量，并且不需要目标项目的参与，能够在在线服务阶段提高效率。

技术领域

本发明涉及序列推荐推荐技术领域，具体涉及一种基于的自注意力机制的多兴趣序列推荐系统，相关细节技术还包括兴趣融合。

背景技术

互联网时代，随着多样化的输出平台和普通人群的使用频率的不断增长，互联网生成的多样化信息内容正在急剧增长，这一现象导致了信息量过载(informationoverload)的问题，该问题成为了用户获取所需内容、满足自身消费需求的重大阻碍。为解决这一问题，推荐系统应运而生，并成为各大平台中重要的技术工具。通常，这些系统的主要任务是从海量内容中挖掘出用户可能感兴趣的内容，进而提升用户体验，增加使用及消费的可能性。然而，基于传统思路的推荐也存在一些问题，如准确度不高、排序不好、无法适用于频繁迭代的新场景等问题。因此有人提出使用序列建模方法，对用户交互序列中的项目及其关系进行挖掘。序列模型对历史行为中的的有效交互进行注意力分数计算，并采取一些手段来进行序列整体表示的生成，将该序列整体表示与物品编码进行相似度计算，从而完成推荐列表的生成。

现有序列推荐系统存在一些不足。第一点，这些方法的评估目标往往会趋向于交互概率最大的项目，因此生成的推荐结果可能欠缺多样性、丰富度较低。这些方法通常生成一个相对较大的编码，因为对应的项目编码的维度必须很大，才能表达对应用户的多种兴趣偏好；同时类似SASRec的基于自注意力的方法，如果在过去的互动中，近期有大量相似的项目占主导地位，此类模型倾向于预测与近期交互具有较高相似度的项目，进而忽略那些存在于早期交互序列中的项目，进而影响相似度的计算，将次优结果推荐给用户。

因此，提出了一个名为MUIR(Learning and Fusing Multiple User InterestRepresentations for Sequential Recommendation)的序列推荐模型，它可以从不同层面捕捉用户的不同兴趣，并结合向量表示来生成对应的综合兴趣编码，依据对应的兴趣编码来分别召回项目；为了有效地学习用户的局部级别(local-level)和全局级别(global-level)的兴趣表示，应用了两个结合辅助信息和上下文信息的自注意力兴趣提取模块，来学习交互历史中不同项目的权重表示；设计了一个基于多层感知机的融合模块，它能够生成一个权重分数，通过这个权重分数来将两种模块学习到的结果进行加权拼接，这种融合思路是相对较为新颖的；在三个数据集上，设计了对应的实验来实验来评估MUIR模型，对应的结果表明，与一些近年来的在实际生产环境中取得应用的模型相比，提出的方法显优于这些方法，并且降低了运行的开销，提高了效率。

发明内容

在本发明中，提出了一个模型MUIR，该模型使用多个向量表示用户的不同层面的兴趣，并解决用户兴趣多样化的问题。每个向量都可以用来独立地检索项目。采用基于自注意力的方法学习低级层面(local-level)的表征，并利用上下文信息和辅助信息学习另一更高层级(global-level)的表征。因此，在不增加太多额外成本的情况下，显著提高了总体综合训练效率。添加了一个gate模块，这个模块能够计算不同兴趣向量的召回数量。

本发明的主要技术特征总结如下：

·提出了一个名为MUIR的新模型，该模型捕获用户的多样化兴趣向量，并将这些向量进行融合，生成召回的依据。