[发明专利]一种提升推荐模型时序数据挖掘能力的循环神经网络方法

说明书

技术领域

本发明涉及机器学习以及个性化推荐领域，具体涉及一种提升推荐模型时序数据挖掘能力的循环神经网络方法。

背景技术

信息社会的快速发展积累了大量的数据，用户在互联网上产生的历史数据反映了其本身的兴趣爱好。这些数据给各个互联网厂商提供了预测用户兴趣并进行针对性推荐的可能。推荐系统是互联网厂商为用户推荐商品的有效方式，其准确性直接影响到厂商广告投入的回报率，以及用户的消费体验。

目前推荐系统已广泛地使用到商品、音乐、新闻等领域中。推荐模型多使用用户的购买记录寻找与其兴趣相似的其他用户，并利用其他用户的购买记录为该用户推荐新商品。然而这一过程并未利用到用户购买记录的时间信息，对用户兴趣在时间上的变化缺乏足够的支持。

传统的推荐模型通过构建用户-商品的评分矩阵来计算用户或商品之间的相似度，并通过相似度的高低进行推荐。这一方法中，时间信息是没有作用的，因此传统的推荐模型对用户兴趣在时间上的变化是不够敏感的。比如某一用户某段时间对从未接触的某类商品产生了兴趣，随着用户兴趣的产生、保持或者消失，其购买欲望通常带有明显的时间特征，因此，在推荐模型中使用时间信息来弥补推荐系统在利用时间上的空缺具备较高的创新性，并且对提升推荐系统的准确性也具有重要作用。

目前神经网络已被证明在多个领域内能够达到最佳的效果，使用神经网络构建推荐系统具备较高的可行性。长短时记忆模型(Long Short Term Memory，LSTM模型)是神经网络中利用时序信息的模型之一，但其同样未能直接利用序列数据中每一项发生的具体时间信息。因此如何改造现有的神经网络模型使其能够有效地处理时间信息是一个很有价值的问题。而利用改造后的神经网络模型来构建有效的推荐系统同样是一个十分具备挑战性的任务。

发明内容

本发明提供了一种提升推荐模型时序数据挖掘能力的循环神经网络方法，可以增强神经网络对时间的区分，使模型更易于处理长期数据中所包含的长期的一般特征和短期的临时特征，强化模型对用户的长期兴趣和短期兴趣的挖掘能力。

一种提升推荐模型时序数据挖掘能力的循环神经网络方法，包括以下步骤：

步骤1，选择一种神经网络，将时间门组件添加到该神经网络中，得到一个新的模型；

步骤2，根据用户时序数据发生的时间，创建有时间间隔属性的时序数据，将得到的数据输入模型中；

步骤3，计算模型的输出，得到模型在序列每一项上的预测值；

步骤4，根据步骤3得到的预测值和序列每一项的真实值计算模型的损失值，若损失值低于预设值并趋于平稳则执行步骤6，否则执行步骤5；

步骤5，根据损失值计算各个参数的梯度，并对参数进行更新，返回执行步骤3；

步骤6，根据当前模型预测用户的兴趣。

步骤1中，所述的神经网络是LSTM模型，LSTM模型是长短时记忆模型。所述的时间门的运算公式为：

T_m＝σ_t(σ_Δt(Δt_mW_tt)+x_mW_xt+b_t)

其中，Δt_m指用户浏览第m个商品与第m-1个商品之间的时间间隔，σ_Δt与σ_t表示两个不同的激活函数，通常使用sigmoid(S型生长曲线函数，输出值在0到1之间)和tanh(双曲正切函数，输出值在-1到1之间)作为激活函数，x_m代表用户当前浏览的商品，W_xt，W_tt与b_t则表示时间门需要学习的三个参数，T_m作为该结构的输出表示对时间信息的信息提取。

基于上述情况，可使用三种方式进行基于时间门的网络改造。

方式1使用一个时间门结构，该时间门有两个作用，分别是：通过控制输入数据的记忆强度来有效地对短期兴趣建模；通过同时考虑商品信息和时间间隔信息来有效地对长期兴趣建模。其输出结构公式为：

c_m＝f_m⊙c_m-1

+i_m⊙T_m⊙σ_c(x_mW_xc+h_m-₁W_hc+b_c)，