[发明专利]爬虫系统及方法有效
| 申请号： | 201910835029.4 | 申请日： | 2019-09-05 |
| 公开（公告）号： | CN110516139B | 公开（公告）日： | 2023-07-07 |
| 发明（设计）人： | 宋海伟 | 申请（专利权）人： | 上海携程商务有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;H04L67/1001;H04L67/02;H04M11/06 |
| 代理公司： | 上海弼兴律师事务所 31283 | 代理人： | 薛琦;张冉 |
| 地址： | 200335 上海市*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了爬虫系统及方法，其中爬虫系统包括客户端和服务端；服务端包括负载均衡服务器、集群服务器；客户端用于根据预设爬取目标和目标网站的访问要求生成爬取参数，并发送爬取参数至负载均衡服务器；负载均衡服务器用于根据爬取参数生成爬虫任务，并分配爬虫任务至集群服务器；集群服务器用于根据爬虫任务爬取目标网站的目标数据。本发明的客户端用户只需要在客户端根据预设爬取目标和目标网站的访问要求设置爬取参数，生成的爬虫任务统一由集群服务器进行处理，使得系统易于维护，减少研发时长，避免重复研发工作量及降低研发成本。 | ||
| 搜索关键词： | 爬虫 系统 方法 | ||
【主权项】：
1.一种爬虫系统，其特征在于，所述爬虫系统包括客户端和服务端；所述服务端包括负载均衡服务器、集群服务器；/n所述客户端用于根据预设爬取目标和目标网站的访问要求生成爬取参数，并发送所述爬取参数至所述负载均衡服务器；/n所述负载均衡服务器用于根据所述爬取参数生成爬虫任务，并分配所述爬虫任务至所述集群服务器；/n所述集群服务器用于根据所述爬虫任务爬取所述目标网站的目标数据。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海携程商务有限公司，未经上海携程商务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910835029.4/，转载请声明来源钻瓜专利网。
