|
钻瓜专利网为您找到相关结果 320323个,建议您 升级VIP下载更多相关专利
- [发明专利]一种自动识别web爬虫的方法-CN201610831757.4在审
-
周雨晨
-
成都知道创宇信息技术有限公司
-
2016-09-19
-
2017-02-15
-
H04L29/06
- 本发明公开了一种自动识别web爬虫的方法,包括以下步骤步骤1服务器首页返回只包含JS代码的页面,这段代码位于onload函数中,在页面完全加载后被执行;步骤2步骤1所述的JS代码采用某种算法设定一个cookie字段,然后使用window.location跳转到首页;服务器检测cookie合法则返回另一段JS代码,另一段JS代码采用另一种算法设定cookie字段;步骤3当所有的cookie字段都合法,则返回正常的首页本发明能阻挡大部分静态爬虫的访问,如果爬虫无法执行首页的JS代码,则只能爬到服务器返回的只有JS代码的首页,无法获取真实首页。
- 一种自动识别web爬虫方法
|