[发明专利]一种基于志愿者计算的多租户专业云爬虫系统有效
| 申请号： | 201510751538.0 | 申请日： | 2015-11-06 |
| 公开（公告）号： | CN105447088B | 公开（公告）日： | 2019-04-09 |
| 发明（设计）人： | 徐精忠;刘凯枫 | 申请（专利权）人： | 杭州掘数科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 杭州华知专利事务所(普通合伙) 33235 | 代理人： | 宁冈 |
| 地址： | 310000 浙江省杭州*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及网络信息采集领域，提供了一种基于志愿者计算的多租户专业云爬虫系统，包括用户管理客户端，定义爬虫任务，提交爬虫任务，设定爬虫参数，查看爬虫运行情况及获取爬取回来的数据，还包括爬虫服务端，实现爬虫任务的调度和爬取回来的数据处理；爬虫采集客户端，采集互联网站点数据，收集运行主机的网络带宽速率的信息；爬虫服务端包括分布式调度和分布式处理，分布式调度，实现爬虫任务的调度、爬虫客户端资源的管理及接收爬虫客户端返回来的数据；分布式处理，分布式数据处理器实时的去消费消息队列里面的数据，以流式的方式处理数据。本发明提高了用户闲置资源的利用率，节约了用户开发爬虫系统的成本，实现了资源的公平共享。 | ||
| 搜索关键词： | 一种 基于 志愿者 计算 租户 专业 爬虫 | ||
【主权项】：
1.一种基于志愿者计算的多租户专业云爬虫系统,包括用户管理客户端，所述用户管理客户端是用户管理的门户，向用户提供WEB接口及REST API服务，用户通过管理门户，定义爬虫任务，提交爬虫任务，设定爬虫参数，查看爬虫运行情况及获取爬取回来的数据，其特征在于：还包括爬虫服务端，爬虫采集客户端，所述爬虫服务端实现爬虫任务的调度和爬取回来的数据处理；所述爬虫采集客户端由连接在互联网上的各种相对空闲主机组成，采集互联网站点数据，收集运行主机的网络带宽速率的信息，用于爬虫任务的调度管理；所述爬虫服务端包括分布式调度和分布式处理，所述分布式调度实现爬虫任务的调度、爬虫采集客户端资源的管理及接收爬虫采集客户端返回来的数据；所述分布式处理接收爬虫采集客户端返回的数据，立即将数据进入分布式消息队列，实时的去消费消息队列里面的数据，以流式的方式处理数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州掘数科技有限公司，未经杭州掘数科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510751538.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种文本聚类方法
- 下一篇：基于SAP系统的动态报表的生成方法及系统
