[发明专利]一种基于循环神经网络的Web用户访问路径预测方法

摘要

本发明涉及一种基于循环神经网络的Web用户访问路径预测方法，本发明以用户的访问路径为研究目标，将循环神经网络引入到路径预测问题之中，研究和设计了进行路径预测的网络模型。在简单循环神经网络的基础上，增加了特征层，并在隐藏层采用长短期记忆(Long‑Short Term Memory，LSTM)单元。该方法能够有效的利用用户会话序列的上下文信息，学习和记忆用户的访问规律，并通过训练数据学习获得良好的模型参数，然后对用户下一步的访问路径进行预测。理论分析和实验结果表明，本发明的路径预测效率较高、预测结果较准确，适用于解决Web用户访问路径预测问题。

主权项

1.一种基于循环神经网络的Web用户访问路径预测方法，其特征在于，基于一个Web用户访问路径预测模型，其中，路径预测模型分为四层：输入层、特征层、LSTM隐藏层和输出层，具体是：输入层：接收会话序列文件，并将会话序列输入到特征层；特征层：将URL序列中的每个URL转换为等长的浮点数特征向量，然后将每个URL序列转换成对应的特征矩阵，并将特征矩阵输入到LSTM层；通过Web日志的预处理步骤获得用户会话文件，将用户会话文件输入Word2vec中的Skip‑gram算法训练得到URL的特征向量，每一个URL被赋予一个定长的浮点向量，所有特征向量构成一个向量词典；LSTM层：接收特征矩阵作为LSTM层的输入数据，通过模型的计算向输出层输出预测结果；输入的会话序列经过特征层的处理，把每个URL转换成一个定长的特征向量，并将会话序列转换为对应的特征矩阵，最后将会话序列的特征矩阵传输到LSTM层进行计算；LSTM在循环的每个时刻读取一行特征向量，然后预测下一个可能的值，并与真实的输入相比较，通过迭代的计算差值不断的调整模型的参数，直到差值达到一个极小值；输出层：对LSTM神经网络的输出进行处理获得预测的访问路径的特征向量；具体包括以下步骤：步骤1：通过Web日志的预处理方法，包括无效数据的过滤、不同用户的访问日志的识别、会话的识别、不完整会话的补全等步骤，从原始日志中获取用户会话序列，然后对会话进行异常值检测并过滤异常会话，并将所得的会话保存为文件，每行为一个会话序列，序列中的URL之间用空格分隔；训练和测试的Web日志数据集采用同样的处理方法；步骤2：使用Word2vec工具对会话序列进行训练，获得站点所有URL的特征向量构成的向量词典，其中每一个URL对应一个唯一的定长浮点向量；训练数据和测试数据来是源于同一个站点的Web访问日志，所包含的URL属于同一个集合，因此进行统一的训练来获取特征向量词典；步骤3：将用户会话序列中的URL与特征向量词典中的向量一一对应，获得序列中每一个URL的特征向量，并将会话序列表示为特征矩阵；步骤4：将训练会话数据的特征矩阵数据输入到LSTM循环神经网络进行训练，在多次迭代之后，获取访问路径预测模型；步骤5：输入测试会话数据并获取预测路径结果，将预测的访问路径URL与真实的访问路径对比，评价预测的效果；在测试数据集上的结果不好时可以通过以下方法进行调节；一般来说，损失越低，模型越好，但是有可能出现过度拟合的问题，具体表现是在训练数据集上结果良好，但是在测试数据集上结果很差；过拟合可能有多种原因导致，一是训练数据量不够大且训练数据集和测试数据集的数据有差异，二是数据中有噪声，都很容易导致过拟合问题；一般采用早停法(Early Stopping)来解决；早停法是一种正则化的形式，用于避免在用梯度下降的迭代方法训练模型的过程中产生过度拟合问题，并能够保持模型的泛化能力；早停法将数据集分解为训练数据集和验证数据集，在每个epoch的末尾评估验证数据集上的性能，如果比上一个epoch的效果好，保存当前的模型；若性能比上一个epoch差，则选取目前最优的模型，结束训练；步骤6：对方法进行验证，具体包括步骤6.1、验证预处理算法的效果对预测准确性的影响；采用互联网上公开的三个真实站点记录的Web日志数据进行实验，将数据集划分为训练数据和测试数据，利用训练数据获取良好的模型参数，通过设置不同的参数，进行多次实验，寻找较好的模型参数，进而进行更准确的路径预测；步骤6.2、对比该预测模型与其它模型的效果；将基于循环神经网络的路径预测方法与基于马尔可夫链的路径预测方法进行对比，评估基于循环神经网络的路径预测方法的有效性；步骤6.3、验证预测模型中特征层对预测准确性的影响；评估本发明引入的特征层对路径预测准确率的影响，评估用户会话识别效果对路径预测准确率的影响。