[发明专利]基于片段和自注意力机制的序列推荐方法及系统

说明书

本发明公开了一种基于片段和自注意力机制的序列推荐方法及系统，所述方法包括：将输入的物品序列重组为片段序列；利用神经网络模型对所述片段序列进行特征提取；将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。本发明通过对BERT4Rec作出改进，使其性能优于现有技术下的BERT4Rec或其它推荐模型，最终提高了真实环境下物品序列推荐结果的准确度。

技术领域

本发明涉及神经网络和机器学习技术领域，具体涉及一种基于片段和自注意力机制的序列推荐方法及系统。

背景技术

序列推荐系统需要捕捉用户随着时间变化的的动态兴趣偏好，自注意力机制很适合用于序列推荐因为它能够捕捉序列中项目间的全局关系，于是基于transformer的模型在序列推荐领域中得到广泛的应用。例如基于特征的自注意力块来捕捉特征间的转变模式、在使用注意力机制时考虑协同信息、利用多头注意力对序列数据进行建模及利用双向transformer对用户的行为序列进行编码等。

然而，现有的技术都集中在根据物品序列来捕捉用户的兴趣偏好，但是这些方法很容易受到真实世界的噪声的影响，例如在某一个时间用户选择交互的物品可能是随机的，甚至是有悖于用户的兴趣偏好的，比如说给别人买东西。这种情况下真实环境下物品序列显然是不准确的。因此，亟需一种序列推荐方法能够解决上述问题。

发明内容

本发明的目的在于提供一种基于片段和自注意力机制的序列推荐方法及系统，以解决现有技术基于物品序列来捕捉用户的兴趣偏好时存在的噪声大、易出错的技术问题。

为了克服上述现有技术中的缺陷，本发明提供了一种基于片段和自注意力机制的序列推荐方法，包括：

将输入的物品序列重组为片段序列；

利用神经网络模型对所述片段序列进行特征提取；

将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；

根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。

进一步地，所述将输入的物品序列重组为片段序列，包括：

获取物品序列：

式中，表示序列中的第t个物品，t表示时间戳；

获取物品序列的子序列：

式中，{,}表示向量的拼接，r表示片段的长度；x_t＝v_t+p_t，v_t、p_t分别表示物品的d维嵌入向量、位置向量；

重组子序列，得到片段序列：

式中，a表示片段的步长，n_u表示原物品序列的长度；

将片段序列表示为矩阵形式：

进一步地，利用梯度下降法进行模型训练。

进一步地，所述神经网络模型为transformer网络，包括：

自注意力层，用于对所述片段序列进行特征提取；