[发明专利]基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法

摘要

本发明属于Web设计技术领域，具体为一种基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法。本方法首先建立Web站点的页面组织结构的逻辑表示，综合运用客户端身份识别、Web页面逻辑结构匹配和时间属性进行爬虫行为识别，然后在设定缓冲计数结构的基础上，基于识别结果进行点击计数的更新。本方法能够正确识别爬虫点击行为，避免计数出现虚高现象，同时又能及时地进行Web真实点击计数的更新，本方法适用于各种需要进行链接或页面点击计数的应用场合。

主权项

一种基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法，其特征在于具体流程如下：（一）建立页面结构逻辑结构图（1）输入网站的所有页面文件，对每个页面文件进行HTML语言解析，提取出每个页面所包含的链接；（2）根据所提取出来的链接建立页面逻辑结构图，图中的每个节点表示页面，节点之间的有向连线表示页面之间的链接关系；（二）进行爬虫行为识别及计数更新（1）从某个时刻T0开始记录对本网站的所有点击行为，提取客户端的身份标识信息，并对其中的每个客户端进行如下步骤的处理；其中所述身份标识信息包括IP地址、Agent字符串和url地址；（2）将用户点击的链接、点击时间记录到一个列表L中；（3）如果在一定时间TH内没有出现下一次点击，或前后两次的时间间隔大于一定数值TH，则转下一步骤，否则执行上一步骤，获得下一次点击行为；（4）根据页面逻辑结构图，计算L列表所对应的点击序列的空间特征参量β及时间特征参量θ；（5）当上述两个特征参量满足时，对L中所包含的每个页面计数增加1，否则不予计数；其中，λ和γ是预先设定的参数；λ表示点击行为在整个网站上的覆盖比例，γ是点击行为在时间间隔上的波动情况；其中：点击序列的时间特征参量θ根据前后两个点击记录之间的时间间隔的平均值和方差来量化计算，公式如下：其中， n表示点击序列的长度 ；ti‑1 和ti分别表示前后两个点击记录的时间；点击行为的空间特征参量β基于点击行为序列与逻辑结构图之间的匹配结果计算，计算公式如下：其中，n表示点击序列的长度，ct是通过匹配得到的节点数。