[发明专利]基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法

权利要求书

1.一种基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法，其特征在于具体流程如下：

（一）建立页面结构逻辑结构图

（1）输入网站的所有页面文件，对每个页面文件进行HTML语言解析，提取出每个页面所包含的链接；

（2）根据所提取出来的链接建立页面逻辑结构图，图中的每个节点表示页面，节点之间的有向连线表示页面之间的链接关系；

（二）进行爬虫行为识别及计数更新

（1）从某个时刻T0开始记录对本网站的所有点击行为，提取客户端的身份标识信息，并对其中的每个客户端进行如下步骤的处理；其中所述身份标识信息包括IP地址、Agent字符串和url地址；

（2）将用户点击的链接、点击时间记录到一个列表L中；

（3）如果在一定时间TH内没有出现下一次点击，或前后两次的时间间隔大于一定数值TH，则转下一步骤，否则执行上一步骤，获得下一次点击行为；

（4）根据页面逻辑结构图，计算L列表所对应的点击序列的空间特征参量β及时间特征参量θ；

（5）当上述两个特征参量满足时，对L中所包含的每个页面计数增加1，否则不予计数；其中，λ和γ是预先设定的参数；λ表示点击行为在整个网站上的覆盖比例，γ是点击行为在时间间隔上的波动情况；其中：

点击序列的时间特征参量θ根据前后两个点击记录之间的时间间隔的平均值和方差来量化计算，公式如下：

其中 ， n表示点击序列的长度 ；t_i-1 和t_i分别表示前后两个点击记录的时间；

点击行为的空间特征参量β基于点击行为序列与逻辑结构图之间的匹配结果计算，计算公式如下：

其中，n表示点击序列的长度，ct是通过匹配得到的节点数。

2.如权利要求1所述的基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法，其特征在于：进行爬虫行为识别及计数更新时，分为在线行为检测及缓冲更新主进程及客户端识别线程两部分。

3.根据权利要求1所述的基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法，其特征在于：所述λ为0.3以上的数值；所述γ通过对具体监测的网站对正常行为进行统计得到。

4.根据权利要求1所述的基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法，其特征在于：所述TH数值为25.5分钟。