[发明专利]一种数据爬取的方法及系统

权利要求书

1.一种数据爬取的方法，其特征在于，包括：

配置数据爬取参数，所述数据爬取参数包括多个URL地址、爬取数据的提取方式；

获取数据爬取参数；

根据数据爬取参数中的URL地址，查询URL地址对应的数据爬取权限，获得查询结果；

对查询结果进行判断，若存在URL地址具有数据爬取权限，则进行下一步操作，若所有URL地址都不具有数据爬取权限，则结束所有操作；

从具有数据爬取权限的URL地址上爬取数据，获得初始数据；

对初始数据进行第一次判断，若初始数据与爬取数据的提取方式匹配，则将初始数据存入数据库，若初始数据与爬取数据的提取方式不匹配，则将初始数据丢弃；

对存入数据库的初始数据进行分类汇总，形成汇总表数据，并保存到数据库；

将汇总表数据按照选择的模板导出。

2.根据权利要求1所述的方法，其特征在于，还包括：

对初始数据进行第一次判断之后，对初始数据进行第二次判断，若需要对初始数据进行深入解析，则根据初始数据中的二次URL地址再次爬取数据，若不需要对初始数据进行深入解析，则进行下一步操作。

3.根据权利要求2所述的方法，其特征在于，

所述数据爬取参数还包括：是否多级获取；

所述配置数据爬取参数，在这个过程中，还去校验必填参数是否为空，如果必填参数为空，则结束所有操作；

必填参数包括URL地址。

4.根据权利要求3所述的方法，其特征在于，所述获取数据爬取参数，包括：返回结果为HTML时，支持xpath语句和正则表达式语句；

返回结果为json语句时，支持json提取。

5.根据权利要求4所述的方法，其特征在于，所述查询URL地址对应的数据爬取权限，具体为：

在robots.txt文档中查询URL地址对应的数据爬取权限。

6.根据权利要求5所述的方法，其特征在于，所述若存在URL地址具有数据爬取权限，具体为：

所有URL地址都具有数据爬取权限；

部分URL地址具有数据爬取权限。

7.一种数据爬取的系统，其特征在于，包括：

配置模块，配置数据爬取参数，所述数据爬取参数包括多个URL地址、爬取数据的提取方式；

获取模块，获取数据爬取参数；

查询模块，根据数据爬取参数中的URL地址，查询URL地址对应的数据爬取权限，获得查询结果；

权限判断模块，对查询结果进行判断，若存在URL地址具有数据爬取权限，则进行下一步操作，若所有URL地址都不具有数据爬取权限，则结束所有操作；

爬取模块，从具有数据爬取权限的URL地址上爬取数据，获得初始数据；

第一判断模块，对初始数据进行第一次判断，若初始数据与爬取数据的提取方式匹配，则将初始数据存入数据库，若初始数据与爬取数据的提取方式不匹配，则将初始数据丢弃；

汇总模块，对存入数据库的初始数据进行分类汇总，形成汇总表数据，并保存到数据库；

导出模块，将汇总表数据按照选择的模板导出。

8.根据权利要求7所述的系统，其特征在于，还包括：

第二判断模块，在第一判断模块对初始数据进行第一次判断之后，第二判断模块对初始数据进行第二次判断，若需要对初始数据进行深入解析，则根据初始数据中的二次URL地址再次爬取数据，若不需要对初始数据进行深入解析，则进行下一步操作。