[发明专利]网页数据爬取方法、装置、系统、计算机设备及存储介质

说明书

本发明公开了网页数据爬取方法、装置、系统、计算机设备及存储介质。该方法包括：接收第二服务器分发的网址；通过部署的代码框架爬取所述网址对应的网页内容信息；将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容；将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储；将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息；以及将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。该方法实现了将已爬取的网页内容均进行保存以便于数据溯源，而且还能对网页内容进行二次解析。

技术领域

本发明涉及数据爬取技术领域，尤其涉及一种网页数据爬取方法、装置、系统、计算机设备及存储介质。

背景技术

目前，爬虫系统都是针对指定的内容进行定向爬取，而经常遇到网站改版了，或者数据抓取的位置发生错误时，导致需要重新进行抓取，造成网页内容后期加工成本比较高。

发明内容

本发明实施例提供了一种网页数据爬取方法、装置、系统、计算机设备及存储介质，旨在解决现有技术中爬虫系统都是针对指定的内容进行定向爬取，当遇到网站改版了，或者数据抓取的位置发生错误时，需重新爬取且无法溯源的问题。

第一方面，本发明实施例提供了一种网页数据爬取方法，应用于第一服务器，其包括：

接收第二服务器分发的网址；所述网址为所述第二服务器接收用户端上传的目标网站网址集合的子集；

通过部署的代码框架爬取所述网址对应的网页内容信息；

将所述网页内容信息通过所述代码框架进行解析，得到网页解析内容；

将所述网页解析内容发送至第二服务器中与所述第一服务器对应的存储区域进行存储；

将所述网页解析内容中的源码通过所述代码框架进行解析，得到对应的源码解析信息；以及

将所述源码解析信息发送至第二服务器中与所述第一服务器对应的存储区域进行存储。

第二方面，本发明实施例又提供了一种网页数据爬取方法，应用于第二服务器，其包括：

接收由用户端发送的待爬取的目标网站网址集合；

将所述目标网站网址集合中每一网址分发至对应的第一服务器；

接收所述第一服务器发送的网页解析内容；所述网页解析内容由所述第一服务器爬取并解析所述网址对应的网页内容信息得到；

接收所述第一服务器发送的源码解析信息；所述源码解析信息由所述第一服务器解析所述网页解析内容的源码对应得到；以及

接收检索条件，根据所述检索条件在所述网页解析内容及所述源码解析信息中获取对应的检索结果。

第三方面，本发明实施例又提供了一种网页数据爬取装置，该装置包括用于执行上述第一方面所述网页数据爬取方法对应的单元，或者包括用于执行上述第二方面所述网页数据爬取方法对应的单元。

第四方面，本发明实施例又提供了一种网页数据爬取系统，包括第一服务器和第二服务器，所述第一服务器用于执行上述第一方面所述网页数据爬取方法，所述第二服务器用于执行上述第一方面所述网页数据爬取方法。

第五方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的网页数据爬取方法，或者实现上述第二方面所述的网页数据爬取方法。