[发明专利]一种爬虫方法、装置、系统、设备及可读存储介质在审
| 申请号： | 201910584929.6 | 申请日： | 2019-07-01 |
| 公开（公告）号： | CN110287395A | 公开（公告）日： | 2019-09-27 |
| 发明（设计）人： | 黄巍峰;范渊;吴卓群 | 申请（专利权）人： | 杭州安恒信息技术股份有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/953 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王云晓 |
| 地址： | 310000 浙江省*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种爬虫方法，应用于与爬虫平台建立通信连接的任一个移动终端，包括：接收爬虫平台发送的爬虫任务，爬虫任务至少包括：待爬取的目标和爬虫规则；利用移动终端的IP地址和爬虫规则爬取待爬取的目标，获得与爬虫任务对应的爬虫结果；IP地址为移动终端连接的移动通信网络为移动终端分配的IP地址；将爬虫结果传输至爬虫平台，以便爬虫平台存储爬虫结果。本申请使用的IP地址是移动通信网络为移动终端分配的动态IP地址；且移动终端为多个，因此降低了被爬虫目标拦截或封锁爬虫操作所使用的IP地址的可能性，也为爬虫的高并发提供了可能。本申请公开的一种爬虫装置、系统、设备及可读存储介质，也同样具有上述技术效果。 | ||
| 搜索关键词： | 爬虫 移动终端 可读存储介质 移动通信网络 申请 动态IP地址 技术效果 结果传输 目标拦截 爬虫装置 平台建立 通信连接 分配 并发 存储 发送 封锁 应用 | ||
【主权项】：
1.一种爬虫方法，其特征在于，应用于与爬虫平台建立通信连接的任一个移动终端，包括：接收所述爬虫平台发送的爬虫任务，所述爬虫任务至少包括：待爬取的目标和爬虫规则；利用所述移动终端的IP地址和所述爬虫规则爬取所述待爬取的目标，获得与所述爬虫任务对应的爬虫结果；所述IP地址为：所述移动终端连接的移动通信网络为所述移动终端分配的IP地址；将所述爬虫结果传输至所述爬虫平台，以便所述爬虫平台存储所述爬虫结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州安恒信息技术股份有限公司，未经杭州安恒信息技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910584929.6/，转载请声明来源钻瓜专利网。
- 上一篇：网站资源的爬取方法、装置、计算机设备和存储介质
- 下一篇：文本匹配方法及装置
