[发明专利]一种基于双向编码和状态复用的序列推荐算法

说明书

本发明公开了一种基于双向编码和状态复用的序列推荐算法，该方法先通过非因果卷积的双向编码器提取项目上下文特征，并将其与项目嵌入序列相融合，接着在因果卷积解码器卷积时，取记忆模块中缓存的上一个子序列的隐藏状态序列作为padding的填充内容，以建立子序列间联系，最后以因果卷积解码器输出的隐藏状态去预测用户下一次可能交互的项目。该方法通过双向编码项目特征，挖掘序列中项目的前后依赖关系。而传统的模型训练方式即数据增强和自回归模型都是从左至右单向建模，限制了模型的预测能力，与传统方法相比，能捕捉项目间更为复杂的依赖关系。相比于传统模型仅能挖掘子序列内的项目依赖关系，该方法能捕捉更长距离的项目依赖关系。

技术领域

本发明属于计算机领域的推荐系统，具体涉及一种基于双向编码和状态复用的序列推荐算法。

背景技术

在日常生活中，用户在网上无论是购买商品、观看视频还是阅读新闻，其历史行为都是一个随时间排序的序列。行为序列存在一定的前后依赖关系，因此挖掘这样的序列模式对于推荐系统来说是有价值的。

传统推荐算法通过对用户历史数据进行静态建模，挖掘用户的一般偏好，但此类方法并不适用于序列推荐。近年来，研究者们将深度学习方法应用于序列推荐，通过对用户的历史行为序列建模来挖掘项目依赖关系及用户的长短期兴趣，取得了不错的推荐效果。其中，卷积神经网络通常用于处理时间序列数据，适合于捕捉序列中局部信息的依赖关系，因此被应用于序列推荐。例如，Tang等人提出了Caser模型，该模型将用户行为序列中相邻的多个项目视为“图像”，并通过水平过滤器和垂直过滤器捕捉点式、集合形式和允许跳过行为的序列模式，从而挖掘用户的短期偏好。Yuan等人对Caser模型进行改进，提出了NextItNet模型。该模型使用堆叠的空洞卷积替换标准卷积，增大了感受野，缓解了基于CNN的序列推荐算法只能捕捉用户短期兴趣的问题。

虽然目前基于CNN的序列推荐算法已取得了一定成果，但其仍处于起步阶段，存在着一些问题。第一，基于CNN的序列推荐算法大多从左至右单向建模用户-项目交互序列，例如Caser模型采用数据增强方式对模型进行训练，NextItNet模型使用自回归方式训练模型，这两种训练方式都是从左至右单向建模，限制了模型的推荐能力。第二，用户历史行为序列长短不一，而模型通常要求输入序列长度一致，因此需要对完整的用户行为序列进行划分，得到多个等长的子序列并分别输入到模型中进行训练。虽然模型可挖掘子序列内部的项目依赖关系，但并未对相邻子序列建立联系，导致模型无法捕捉超出子序列长度的依赖关系。

发明内容

针对基于CNN的序列推荐算法单向建模用户-项目交互序列及未对相邻子序列建立联系的技术问题，本发明的目的在于，提供一种基于双向编码和状态复用的序列推荐算法。

为了实现上述任务，本发明采用如下的技术解决方案：

一种基于双向编码和状态复用的序列推荐算法，其特征在于，先通过非因果卷积的双向编码器提取项目上下文特征，并将其与项目嵌入序列相融合，接着在因果卷积解码器卷积时，取记忆模块中缓存的上一个子序列的隐藏状态序列作为padding的填充内容，以建立子序列间联系，最后以因果卷积解码器输出的隐藏状态去预测用户下一次可能交互的项目。

具体包括如下步骤：

步骤1：将用户行为序列划分为多个等长子序列并制作训练集、验证集和测试集；

步骤2：建立子序列间的关系字典；

步骤3：对输入序列进行mask操作并通过Embedding技术进行编码；

步骤4：通过非因果卷积编码器得到项目上下文特征序列；

步骤5：通过Embedding技术对输入序列进行编码，得到项目嵌入序列；

步骤6：通过特征相加操作将项目上下文特征序列和项目嵌入序列进行融合，得到特征序列；