[发明专利]分布式爬虫系统在审
| 申请号： | 201910065959.6 | 申请日： | 2019-01-23 |
| 公开（公告）号： | CN109829094A | 公开（公告）日： | 2019-05-31 |
| 发明（设计）人： | 张跃进;胡勇;喻蒙;王猛;王娟;杜飞 | 申请（专利权）人： | 钟祥博谦信息科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/953;G06F16/9535;G06F16/182 |
| 代理公司： | 北京细软智谷知识产权代理有限责任公司 11471 | 代理人： | 涂凤琴 |
| 地址： | 431900 湖北省荆门市钟祥*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种分布式爬虫系统，包括：URL读写模块、URL抓取模块、文档解析模块和持久化模块；URL读写模块，用于基于MapReduce的Map端从输入流中读取URL，将URL写入到输出流中；URL抓取模块，用于将写入到输出流中的URL作为访问地址，根据预设的网络访问模式，基于Map端下载访问地址对应的目标文档；文档解析模块，用于基于Map端，按照预设方式提取目标文档中的目标数据；持久化模块，用于基于Map端，按照预设路径和持久化规则将目标数据存储到Hadoop分布式文件系统中。本方案将分布式爬虫系统模块化，通过在模块之间传输数据来进行信息交互，提高了系统的可扩展性、可用性和可维护性，提高了系统的调度能力，使系统的爬行性能能够发挥出来。 | ||
| 搜索关键词： | 爬虫系统 持久化 文档解析模块 读写模块 访问地址 目标文档 输出流 写入 分布式文件系统 读取 目标数据存储 可用性 传输数据 调度能力 可扩展性 可维护性 目标数据 网络访问 信息交互 预设方式 预设路径 模块化 输入流 下载 预设 爬行 | ||
【主权项】：
1.一种分布式爬虫系统，其特征在于，包括：统一资源定位符URL读写模块、URL抓取模块、文档解析模块和持久化模块；所述URL读写模块，用于基于MapReduce的Map端从输入流中读取URL，将所述URL写入到输出流中；所述URL抓取模块，用于将所述写入到输出流中的URL作为访问地址，根据预设的网络访问模式，基于所述Map端下载所述访问地址对应的目标文档；所述文档解析模块，用于基于所述Map端，按照预设方式提取所述目标文档中的目标数据，检测所述目标数据的类型，若所述类型为目标类型，基于所述MapReduce的Reduce端将所述目标数据发送至对应的所述持久化模块；所述持久化模块，用于基于所述Map端，按照预设路径和持久化规则将所述目标数据存储到Hadoop分布式文件系统中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于钟祥博谦信息科技有限公司，未经钟祥博谦信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910065959.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种搜索的方法及装置
- 下一篇：网页信息的获取方法及系统
