[发明专利]网络爬取方法和装置在审
| 申请号： | 201710571635.0 | 申请日： | 2017-07-13 |
| 公开（公告）号： | CN107423382A | 公开（公告）日： | 2017-12-01 |
| 发明（设计）人： | 罗秋科;林强;张楠;李健华;贾建华;杜景荣;于颖 | 申请（专利权）人： | 中国物品编码中心 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京同立钧成知识产权代理有限公司11205 | 代理人： | 杨泽,刘芳 |
| 地址： | 100029 北京市东城区安*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种网络爬取方法和装置。本发明网络爬取方法包括子节点接收主节点发送的子任务，子任务中包括爬取任务的任务类型以及子节点对应的搜索组中的网站地址，搜索组中包括至少一个网站地址，搜索组是主节点根据分布式编程框架map‑reduce和爬取任务的任务类型，对至少一个网站地址进行划分得到的；子节点根据子任务进行爬取，将得到的爬取数据存储到本地存储器中；子节点在本地存储器中进行查询，得到查询结果，并向主节点发送查询结果。本发明能够实现对大量网页数据的爬取过程。 | ||
| 搜索关键词： | 网络 方法 装置 | ||
【主权项】：
一种网络爬取方法，应用于网络爬取系统，所述网络爬取系统包括：一个主节点和多个子节点，其特征在于，针对任一子节点，所述方法包括：所述子节点接收所述主节点发送的子任务，所述子任务中包括爬取任务的任务类型以及所述子节点对应的搜索组中的网站地址，所述搜索组中包括至少一个网站地址，所述搜索组是所述主节点根据分布式编程框架map‑reduce和所述爬取任务的任务类型，对所述至少一个网站地址进行划分得到的；所述子节点根据所述子任务进行爬取，将得到的爬取数据存储到本地存储器中；所述子节点在所述本地存储器中进行查询，得到查询结果，并向所述主节点发送所述查询结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国物品编码中心，未经中国物品编码中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710571635.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于AR技术的本册
- 下一篇：一种能够固定图书的书签
