[发明专利]数据爬取方法及装置、存储介质及电子设备

权利要求书

1.一种数据爬取方法，其特征在于，包括：

当接收到用户发送的任务创建指令时，向所述用户展示任务创建页面；

获取所述用户在所述任务创建页面中输入的任务创建信息，其中，所述任务创建信息中包含站点信息，并使用所述任务创建信息生成爬取任务；

获取所述用户提供的采集配置数据和解析配置数据，并基于所述采集配置数据以及所述解析配置数据定义所述爬取任务；

对所述爬取任务进行处理，以便基于所述采集配置数据和所述解析配置数据从与所述站点信息对应的网站中爬取数据。

2.根据权利要求1所述的方法，其特征在于，所述获取所述用户提供的采集配置数据和解析配置数据，包括：

向所述用户展示采集配置页面，获取所述用户在所述采集配置页面中输入的爬取地址集合和采集规则，其中，所述爬取地址集合包含至少一个网页地址；并将所述采集规则和所述爬取地址集合封装为采集配置数据；

向所述用户展示解析配置页面，获取所述用户在所述解析配置页面中选择的各个解析字段以及对每个所述解析字段输入的解析规则，并将各个所述解析字段和每个所述解析字段的解析规则封装为解析配置数据。

3.根据权利要求2所述的方法，其特征在于，所述对所述爬取任务进行处理，以便基于所述采集配置数据和所述解析配置数据从与所述站点信息对应的网站中爬取数据，包括：

监测所述爬取任务中的采集信号和解析信号；

在所述采集信号表征为可采集状态时，基于所述爬取任务中的采集配置数据，执行预设的采集脚本，以在所述网站中确定每个所述网页地址所属的网页，并基于所述采集规则采集每个所述网页中的详情页列表，其中，所述详情页列表中包含至少一个详情页地址；

在所述解析信号表征为可解析状态时，基于所述爬取任务中的解析配置数据，执行预设的解析脚本，以获取每个所述详情页地址所属的详情页中的数据。

4.根据权利要求3所述的方法，其特征在于，所述获取每个所述详情页地址所属的详情页中的数据，包括：

对于所述详情页列表中的每个详情页地址，确定所述详情页地址所属的详情页，基于各个所述解析字段和每个所述解析字段的解析规则，在所述详情页的各个数据字段中确定目标字段，并获取每个所述目标字段中的数据。

5.根据权利要求1所述的方法，其特征在于，还包括：

将爬取到的数据向所述用户反馈，以便所述用户对爬取到的数据进行核验；

当爬取到的数据中的采集数据和解析数据均通过所述用户的核验时，定时处理所述爬取任务，以便周期性地从所述网站中爬取数据。

6.一种数据爬取装置，其特征在于，包括：

展示模块，用于当接收到用户发送的任务创建指令时，向所述用户展示任务创建页面；

生成爬取任务模块，用于获取所述用户在所述任务创建页面中输入的任务创建信息，其中，所述任务创建信息中包含站点信息，并使用所述任务创建信息生成爬取任务；

可视化配置任务模块，用于获取所述用户提供的采集配置数据和解析配置数据，并基于所述采集配置数据以及所述解析配置数据定义所述爬取任务；

爬取数据模块，用于对所述爬取任务进行处理，以便基于所述采集配置数据和所述解析配置数据从与所述站点信息对应的网站中爬取数据。

7.根据权利要求6所述的装置，其特征在于，所述可视化配置任务模块，包括：

第一获取子模块，用于向所述用户展示采集配置页面，获取所述用户在所述采集配置页面中输入的爬取地址集合和采集规则，其中，所述爬取地址集合包含至少一个网页地址，并将所述采集规则和所述爬取地址集合封装为采集配置数据；

第二获取子模块，用于向所述用户展示解析配置页面，获取所述用户在所述解析配置页面中选择的各个解析字段以及对每个所述解析字段输入的解析规则，并将各个所述解析字段和每个所述解析字段的解析规则封装为解析配置数据。