[发明专利]一种分布式垂直业务搜索爬虫框架在审
| 申请号： | 201811208977.7 | 申请日： | 2018-10-17 |
| 公开（公告）号： | CN109063216A | 公开（公告）日： | 2018-12-21 |
| 发明（设计）人： | 邓炽成 | 申请（专利权）人： | 珠海市智图数研信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 卢泽明 |
| 地址： | 519000 广东省珠海市横琴新*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式垂直业务搜索爬虫框架，具体步骤如下：步骤一：采用爬虫静态分布形式将同一目标的爬虫按照配置，复制到不同的网络计算机上，然后采用不同IP资源发出爬取请求；步骤二：目标页面URL通过消息队列管道汇聚到中心库；步骤三：中心库负载程序将URL进行调度，并且通过消息队列管道推送到多个网络计算机终端，由监听爬虫进行动态调度执行URL下载任务。本发明利用分布式垂直业务搜索爬虫，使用更多的IP资源来合理编排任务，将爬取任务分散到网络多台计算机进行，对高资源消耗的网络爬虫来说是提供了一种低成本的解决方案，因此分布式爬虫是在垂直业务搜索中，实现持续无间断爬取的很好的技术手段。 | ||
| 搜索关键词： | 爬虫 业务搜索 垂直 消息队列 中心库 网络计算机终端 多台计算机 动态调度 分布形式 技术手段 目标页面 网络计算 网络爬虫 资源消耗 低成本 框架本 无间断 监听 编排 复制 调度 汇聚 配置 网络 | ||
【主权项】：
1.一种分布式垂直业务搜索爬虫框架，其特征在于：具体步骤如下：步骤一：采用爬虫静态分布形式将同一目标的爬虫按照配置，复制到不同的网络计算机上，然后采用不同IP资源发出爬取请求；步骤二：目标页面URL通过消息队列管道汇聚到中心库；步骤三：中心库负载程序将URL进行调度，并且通过消息队列管道推送到多个网络计算机终端，由监听爬虫进行动态调度执行URL下载任务；步骤四：当URL没有被拒绝访问时，进行索引，递给中心库，中心库进行标记该URL已被执行任务；步骤五：当有网络计算机终端不能执行URL下载任务时，将该URL经消息队列管道反馈给中心库，此时中心库将此URL再次进行调度，重新回到消息队列再次推送到其他的网络计算机终端，再由监听爬虫进行动态调度，执行URL下载任务；步骤六：当不能执行URL下载任务的消息经消息队列管道反馈给中心库时，同时将此URL以及对应的网络计算机终端进行记录保存，当下一次再次搜索此URL时，不调动此网络计算机终端执行URL下载任务。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于珠海市智图数研信息技术有限公司，未经珠海市智图数研信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811208977.7/，转载请声明来源钻瓜专利网。
- 上一篇：数据检索方法及装置
- 下一篇：电力营销系统中的工单分类方法、装置及其相关设备
