[发明专利]网页抓取方法及爬虫有效
| 申请号： | 201210056060.6 | 申请日： | 2012-03-05 |
| 公开（公告）号： | CN103294732A | 公开（公告）日： | 2013-09-11 |
| 发明（设计）人： | 邹纲;皮冰锋;张军;钟朝亮;于浩 | 申请（专利权）人： | 富士通株式会社 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 康建峰;陈炜 |
| 地址： | 日本神*** | 国省代码： | 日本;JP |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网页抓取方法及爬虫。所述方法包括如下步骤：将种子URL注入到Web数据库中；基于Web数据库生成URL列表；按队列的顺序将URL列表中的URL馈送给网页抓取器；由网页抓取器、按照网页对应的访问模式、根据被馈送的URL来对网页进行抓取；以及基于所抓取的网页，更新Web数据库中URL的状态以及注入新发现的URL；其中，所述访问模式包括请求参数槽、响应参数槽、以及请求参数槽与响应参数槽的对应关系，请求参数槽中包括请求参数、以及请求参数槽与响应参数槽的匹配关系，响应参数槽中包括响应参数、以及关于响应参数在http响应消息中的提取位置的提取位置信息。 | ||
| 搜索关键词： | 网页 抓取 方法 爬虫 | ||
【主权项】：
一种网页抓取方法，包括如下步骤：将种子URL注入到Web数据库中；基于Web数据库生成URL列表；按队列的顺序将URL列表中的URL馈送给网页抓取器；由网页抓取器、按照网页对应的访问模式、根据被馈送的URL来对网页进行抓取；以及基于所抓取的网页，更新Web数据库中URL的状态以及注入新发现的URL；其中，所述访问模式包括请求参数槽、响应参数槽、以及请求参数槽与响应参数槽的对应关系，请求参数槽中包括请求参数、以及请求参数槽与响应参数槽的匹配关系，响应参数槽中包括响应参数、以及关于响应参数在http响应消息中的提取位置的提取位置信息。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于富士通株式会社，未经富士通株式会社许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201210056060.6/，转载请声明来源钻瓜专利网。
- 上一篇：对象信息获取方法及设备
- 下一篇：一种确定网页中的页面元素的方法以及装置
