[发明专利]一种网页数据爬取方法与系统

说明书

本申请提供了一种网页数据爬取方法与系统，涉及数据爬取技术领域。该方法应用于网页爬取系统，系统包括第一服务器与至少一个第二服务器，通过第一服务器向至少一个第二服务器发送镜像文件，其中，镜像文件包括linux系统、爬虫系统以及待爬取参数，然后由第二服务器对镜像文件进行解析，以启动所述爬虫系统，并获取待爬取参数，再通过第二服务器依据待爬取参数访问第三服务器，并从第三服务器中爬取与待爬取参数对应的目标数据，最后通过第二服务器将目标数据发送至第一服务器。本申请提供的网页数据爬取方法与系统具有减小了服务器的性能开销以及服务器部署更加简单且不受区域限制的效果。

技术领域

本申请涉及数据爬取技术领域，具体而言，涉及一种网页数据爬取方法与系统。

背景技术

随着互联网产业的发展，互联网公司也越来越多。一般地，互联网公司需要在运营过程中，需要在服务器上爬取大量的数据，例如，爬取某些网页的数据信息，并发现其可能存在的漏洞，对自身网页在世界各地的加载性能和文件丢失进行测试，例如爬取某些网页的DNS解析时长、TCP链接时长、下载时长以及是否存在资源丢失等，进而对自身的网页进行维护。

目前，当需要爬取数据时，需要服务器对数据进行主动爬取，使得服务器存在大量的性能开销，影响用户体验。并且，当需要爬取的数据量较大时，还需要布局较多的服务器，部署服务器相对较为麻烦，且对于服务器的部署存在区域限制，导致对数据的爬取较为麻烦。

发明内容

本申请的目的在于提供一种网页数据爬取方法与系统，以解决现有技术中存在的在进行数据爬取时，服务器的性能开销大，同时服务器的布局较为麻烦的问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

一方面，本申请实施例提供一种网页数据爬取方法，所述方法应用于网页爬取系统，所述系统包括第一服务器与至少一个第二服务器，所述第一服务器与所述至少一个第二服务器通信连接，每个所述第二服务器还用于与多个第三服务器通信连接；

所述第一服务器向所述至少一个第二服务器发送镜像文件，其中，所述镜像文件包括linux系统、爬虫系统以及待爬取参数；

所述第二服务器对所述镜像文件进行解析，以启动所述爬虫系统，并获取所述待爬取参数；

所述第二服务器依据所述待爬取参数访问所述第三服务器，并从所述第三服务器中爬取与所述待爬取参数对应的目标数据；

所述第二服务器将所述目标数据发送至所述第一服务器。

另一方面，本申请提供了一种网页数据爬取系统，所述系统包括第一服务器与至少一个第二服务器，所述第一服务器与所述至少一个第二服务器通信连接，每个所述第二服务器还用于与多个第三服务器通信连接；其中，

所述第一服务器用于向至少一个所述第二服务器发送镜像文件，其中，所述镜像文件包括linux系统、爬虫系统以及待爬取参数；

所述第二服务器用于对所述镜像文件进行解析，以启动所述爬虫系统，并获取所述待爬取参数；

所述第二服务器还用于依据所述待爬取参数访问所述第三服务器，并从所述第三服务器中爬取与所述待爬取参数对应的目标数据；

所述第二服务器还用于将所述目标数据发送至所述第一服务器。

相对于现有技术，本申请具有以下有益效果：