[发明专利]一种网页数据爬取方法与系统

权利要求书

1.一种网页数据爬取方法，其特征在于，所述方法应用于网页爬取系统，所述系统包括第一服务器与至少一个第二服务器，所述第一服务器与所述至少一个第二服务器通信连接，每个所述第二服务器还用于与多个第三服务器通信连接；

所述第一服务器向所述至少一个第二服务器发送镜像文件，其中，所述镜像文件包括linux系统、爬虫系统以及待爬取参数；

所述第二服务器对所述镜像文件进行解析，以启动所述爬虫系统，并获取所述待爬取参数；

所述第二服务器依据所述待爬取参数访问所述第三服务器，并从所述第三服务器中爬取与所述待爬取参数对应的目标数据；

所述第二服务器将所述目标数据发送至所述第一服务器。

2.如权利要求1所述的网页数据爬取方法，其特征在于，在所述第二服务器将所述目标数据发送至所述第一服务器的步骤之后，所述方法还包括：

第一服务器将所述目标数据存储至数据库中；

当所述第一服务器接收到调用指令时，所述第一服务器从所述数据库中提取所述目标数据并解析，并显示所述数据。

3.如权利要求2所述的网页数据爬取方法，其特征在于，在所述第一服务器将所述目标数据存储至数据库中的步骤之前，所述方法包括：

所述第二服务器记录爬取所述目标数据的区域信息与时间信息，并将所述区域信息、所述时间信息以及所述目标数据发送至所述第一服务器；

所述第一服务器将所述目标数据存储至数据库中的步骤包括：

所述第一服务器依据所述区域信息与所述时间信息生成所述目标数据的标识信息，并将所述标识信息与所述目标数据存储至所述数据库中。

4.如权利要求1所述的网页数据爬取方法，其特征在于，在所述第一服务器向所述第二服务器发送镜像文件的步骤之后，所述方法还包括：

所述第一服务器向所述第二服务器发送参数更改信息；

所述第二服务器依据所述参数更改信息对所述待爬取参数进行更改。

5.如权利要求1所述的网页数据爬取方法，其特征在于，所述镜像文件包括docker镜像文件。

6.如权利要求1所述的网页数据爬取方法，其特征在于，所述方法还包括：

所述第一服务器向所述第二服务器发送开始或结束爬取信息；

所述第二服务器依据所述开始或结束爬取信息对所述第三服务器进行目标数据的爬取或结束对所述目标数据的爬取。

7.如权利要求1所述的网页数据爬取方法，其特征在于，所述待爬取参数包括目标IP地址，所述第二服务器依据所述待爬取参数访问所述第三服务器，并从所述第三服务器中爬取与所述待爬取参数对应的目标数据的步骤包括：

所述第二服务器依据所述IP地址确定目标第三服务器，并对所述目标第三服务器进行目标数据的爬取。

8.一种网页数据爬取系统，其特征在于，所述系统包括第一服务器与至少一个第二服务器，所述第一服务器与所述至少一个第二服务器通信连接，每个所述第二服务器还用于与多个第三服务器通信连接；其中，

所述第一服务器用于向所述至少一个第二服务器发送镜像文件，其中，所述镜像文件包括linux系统、爬虫系统以及待爬取参数；

所述第二服务器用于对所述镜像文件进行解析，以启动所述爬虫系统，并获取所述待爬取参数；

所述第二服务器还用于依据所述待爬取参数访问所述第三服务器，并从所述第三服务器中爬取与所述待爬取参数对应的目标数据；

所述第二服务器还用于将所述目标数据发送至所述第一服务器。

9.如权利要求8所述的网页数据爬取系统，其特征在于，第一服务器还用于将所述目标数据存储至数据库中；

当所述第一服务器接收到调用指令时，所述第一服务器还用于从所述数据库中提取所述目标数据并解析，并显示所述数据。

10.如权利要求9所述的网页数据爬取系统，其特征在于，所述第二服务器还用于记录爬取所述目标数据的区域信息与时间信息，并将所述区域信息、所述时间信息以及所述目标数据发送至所述第一服务器；

所述第一服务器还用于将所述目标数据存储至数据库中的步骤包括：

所述第一服务器还用于依据所述区域信息与所述时间信息生成所述目标数据的标识信息，并将所述标识信息与所述目标数据存储至所述数据库中。