[发明专利]一种爬虫方法、装置、系统、设备及可读存储介质

说明书

本申请公开了一种爬虫方法，应用于与爬虫平台建立通信连接的任一个移动终端，包括：接收爬虫平台发送的爬虫任务，爬虫任务至少包括：待爬取的目标和爬虫规则；利用移动终端的IP地址和爬虫规则爬取待爬取的目标，获得与爬虫任务对应的爬虫结果；IP地址为移动终端连接的移动通信网络为移动终端分配的IP地址；将爬虫结果传输至爬虫平台，以便爬虫平台存储爬虫结果。本申请使用的IP地址是移动通信网络为移动终端分配的动态IP地址；且移动终端为多个，因此降低了被爬虫目标拦截或封锁爬虫操作所使用的IP地址的可能性，也为爬虫的高并发提供了可能。本申请公开的一种爬虫装置、系统、设备及可读存储介质，也同样具有上述技术效果。

技术领域

本申请涉及互联网技术领域，特别涉及一种爬虫方法、装置、系统、设备及可读存储介质。

背景技术

爬虫是按照一定的规则自动抓取万维网信息的方式，但由于被爬虫的目标通常设有防爬虫的安全机制，因此在现有的爬虫方案中，通常会利用设有多个IP地址的IP代理池来进行爬虫，这样可以频换更换爬取某个目标的IP地址，以尽可能避免被爬虫目标拦截或封锁爬虫操作所使用的IP地址。

但是，IP代理池中的IP地址需要不断维护，其数量毕竟有限，当被爬虫的目标较多时，IP代理池中的IP地址数量就显得捉襟见肘，故而现有的IP代理池无法很好地解决被爬虫目标拦截或封锁爬虫操作所使用的IP地址的问题。同时，现有爬虫方案中的IP代理池中的IP地址只作为代理IP，其需要借助其他设备才能完成爬取过程，这无疑增加了爬虫操作的复杂度，不利于高并发的爬虫操作的执行。

因此，如何避免被爬虫目标拦截或封锁爬虫操作所使用的IP地址，是本领域技术人员需要解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种爬虫方法、装置、系统、设备及可读存储介质，以避免被爬虫目标拦截或封锁爬虫操作所使用的IP地址。其具体方案如下：

第一方面，本申请提供了一种爬虫方法，应用于与爬虫平台建立通信连接的任一个移动终端，包括：

接收爬虫平台发送的爬虫任务，爬虫任务至少包括：待爬取的目标和爬虫规则；

利用移动终端的IP地址和爬虫规则爬取待爬取的目标，获得与爬虫任务对应的爬虫结果；IP地址为：移动终端连接的移动通信网络为移动终端分配的IP地址；

将爬虫结果传输至爬虫平台，以便爬虫平台存储爬虫结果。

优选地，将爬虫结果传输至爬虫平台，以便爬虫平台存储爬虫结果，包括：

将爬虫结果和移动终端的ID传输至爬虫平台，以便爬虫平台存储爬虫结果和移动终端的ID。

优选地，移动通信网络为2G、3G、4G或5G网络。

第二方面，本申请提供了一种爬虫装置，应用于与爬虫平台建立通信连接的任一个移动终端，包括：

接收模块，用于接收爬虫平台发送的爬虫任务，爬虫任务至少包括：待爬取的目标和爬虫规则；

爬虫模块，用于利用移动终端的IP地址和爬虫规则爬取待爬取的目标，获得与爬虫任务对应的爬虫结果；IP地址为：移动终端连接的移动通信网络为移动终端分配的IP地址；

传输模块，用于将爬虫结果传输至爬虫平台，以便爬虫平台存储爬虫结果。

第三方面，本申请提供了一种爬虫系统，包括：爬虫平台和多个上述公开的爬虫装置。

优选地，爬虫平台包括：

任务管理中心，用于根据用户输入的待爬取的目标和爬虫规则生成爬虫任务；

调度中心，用于发送爬虫任务至任一个爬虫装置；

存储中心，用于存储每个爬虫任务对应的爬虫结果。