[发明专利]一种基于序列预测的网页布局优化方法

权利要求书

1.一种基于序列预测的网页布局优化方法，其特征是，利用用户的访问日志数据，使用深度递归神经网络来训练得到序列预测模型，使用序列预测模型模拟用户访问模式，通过比较现有网站结构网页超链布局与用户访问模式的匹配程度，对网站的结构和网页的布局进行改进；

包括以下步骤：数据预处理，序列预测模型训练，网站结构优化：

1)首先需要对用户的web日志数据进行预处理：在原始数据上删除一些无关的、错误的数据、提取出有用的域，将数据转换为后续算法要求的数据格式；

Web日志数据预处理细分为数据清洗、用户识别、会话识别、数据规范化等过程；其中数据清洗过程是去除掉用户访问日志中错误的无关的数据，去除不相关的数据字段仅保留有价值信息；用户识别则是从web日志数据中识别出不同的用户；会话识别是将每个用户的访问日志按照每次会话分割成一个个会话子集；数据规范化是将每个网页按出现频率排序，并用id进行表示，将访问序列变为id序列，便于后续序列预测模型使用；

数据预处理阶段将从web日志中提取出用户按会话按时间访问的页面序列数据，作为训练数据；

2)序列预测模型训练：构建一个深层的递归生成网络作为序列预测网络，使用序列数据训练模型，得到序列预测模型；使用一个长短时记忆网络(Long Short-Term MemoryNetworks)，用来预测序列的下一个页面的概率分布，其概率值的大小反映了日志数据中用户在当前访问序列下访问下一个页面的可能程度；

3)获得序列预测模型后，使用模型模拟用户访问，比较访问模式与网站结构的匹配程度优化网站结构；实施方案为：(1)随机选取一个起始页面，预测下一个页面的访问概率分布；(2)比较当前页面中超链接是否包含预测页面概率top100的页面，以及这些top100页面超链接在当前网页中的位置，改进当前页面布局；(3)从下一跳预测结果中随机选取一个进行访问，重复(1)、(2)。

2.根据权利要求1所述的基于序列预测的网页布局优化方法，其特征是，使用一个多层的长短时记忆网络(Long Short-Term Memory Networks)，用来预测序列的下一个页面的概率分布。

3.根据权利要求1所述的基于序列预测的网页布局优化方法，其特征是，对网站结构和页面进行优化的策略，统计当前访问页面中出现了多少预测结果中top100的页面超链，根据结果将本页面链接到一些高概率的页面；同时对于页面布局，对当前页面超链按预测概率排序，根据排序结果改进页面布局，将高概率页面放置于显眼位置。

4.根据权利要求1所述的基于序列预测的网页布局优化方法，其特征是，将处理后的数据送入到长短时记忆网络中训练，得到序列预测模型，用于后续网站优化过程；在训练中们使用5层的长短时记忆网络，网络中记忆单元向量位200维，最大预测序列长度为30，数据训练100批次。

5.根据权利要求1所述的基于序列预测的网页布局优化方法，其特征是，得到序列预测模型后，分别对网站结构和页面布局进行评估优化；使用序列模型进行访问模拟，得到当前访问序列＜url₁，...，url_i>的下一个访问页面概率分布Pr，然后统计url_i页面中覆盖了多少Pr分布top100的页面超链，作为网站结构是否合理评判依据，同时将高概率访问网页链接添加到当前页面。

6.根据权利要求1所述的基于序列预测的网页布局优化方法，其特征是，在进行序列预测时，借助预测结果对网页中的各个超链的位置进行重排，将访问概率靠前的网页置于更加显著位置。

7.根据权利要求1所述的基于序列预测的网页布局优化方法，其特征是，剔除掉无用的数据，只保留cookie_id,session_id,request_url,referer_url,time有效字段，然后按照会话和时间将日志数据分割为一个个序列数据；需要将url序列转换为id序列表示，即＜url₁，url₂，..，url_n＞转化为＜id₁，id₂，...，id_n>,其中每个网页对应一个id数字，同时对于日志中出现频率过低的网页合并为unk类型页面。