[发明专利]数据爬取方法及装置、存储介质及电子设备

说明书

本发明提供一种数据爬取方法及装置、存储介质及电子设备，该方法包括：当接收到用户发送的任务创建指令时，向用户展示任务创建页面；获取用户在任务创建页面中输入的包含站点信息的任务创建信息，并根据任务创建信息生成爬取任务；基于用户提供的采集配置数据、解析配置数据定义爬取任务；对爬取任务进行处理，以便基于采集配置数据和解析配置数据从与站点信息对应的网站中爬取数据。基于用户输入的任务创建信息生成爬取任务，并基于采集配置数据以及解析配置数据，定义爬取任务，通过对爬取任务进行处理，实现需求网站的数据爬取，该过程无需开发网络爬虫程序即可爬取数据，节省了技术排期时间，降低了爬取数据的技术壁垒，提高爬取任务的效率。

技术领域

本发明涉及爬取数据技术领域，特别涉及一种数据爬取方法及装置、存储介质及电子设备。

背景技术

随着互联网技术的发展，人们经常从网络获取数据，网络爬虫是互联网时代获取信息的有效手段。通过使用网络爬虫，人们可以从指定的网页中爬取到需要的数据。

使用传统的方式在网络中爬取数据时，技术人员需要花费大量的时间和精力开发网络爬虫程序，并且传统的网络爬虫系统的工作流程繁琐晦涩，增加了非技术人员的可操作性壁垒，进一步降低了爬取数据的效率。

发明内容

有鉴于此，本发明提供一种数据爬取方法及装置、存储介质及电子设备，无需开发网络爬虫程序即可爬取数据，该过程简单、便捷，有效降低了爬取数据的难度和提高了爬取数据的效率。

为实现上述目的，本发明实施例提供如下技术方案：

本申请第一方面公开一种数据爬取方法，包括：

当接收到用户发送的任务创建指令时，向所述用户展示任务创建页面；

获取所述用户在所述任务创建页面中输入的任务创建信息，其中，所述任务创建信息中包含站点信息，并使用所述任务创建信息生成爬取任务；

获取所述用户提供的采集配置数据和解析配置数据，并基于所述采集配置数据以及所述解析配置数据定义所述爬取任务；

对所述爬取任务进行处理，以便基于所述采集配置数据和所述解析配置数据从与所述站点信息对应的网站中爬取数据。

上述的方法，可选的，所述获取所述用户提供的采集配置数据和解析配置数据，包括：

向所述用户展示采集配置页面，获取所述用户在所述采集配置页面中输入的爬取地址集合和采集规则，其中，所述爬取地址集合包含至少一个网页地址；并将所述采集规则和所述爬取地址集合封装为采集配置数据；

向所述用户展示解析配置页面，获取所述用户在所述解析配置页面中选择的各个解析字段以及对每个所述解析字段输入的解析规则，并将各个所述解析字段和每个所述解析字段的解析规则封装为解析配置数据。

上述的方法，可选的，所述对所述爬取任务进行处理，以便基于所述采集配置数据和所述解析配置数据从与所述站点信息对应的网站中爬取数据，包括：

监测所述爬取任务中的采集信号和解析信号；

在所述采集信号表征为可采集状态时，基于所述爬取任务中的采集配置数据，执行预设的采集脚本，以在所述网站中确定每个所述网页地址所属的网页，并基于所述采集规则采集每个所述网页中的详情页列表，其中，所述详情页列表中包含至少一个详情页地址；

在所述解析信号表征为可解析状态时，基于所述爬取任务中的解析配置数据，执行预设的解析脚本，以获取每个所述详情页地址所属的详情页中的数据。

上述的方法，可选的，所述获取每个所述详情页地址所属的详情页中的数据，包括：