[发明专利]一种数据爬取的方法及系统

说明书

本发明涉及一种数据爬取的方法，包括：配置数据爬取参数；获取数据爬取参数；根据数据爬取参数中的URL地址，查询URL地址对应的数据爬取权限；若存在URL地址具有数据爬取权限，则从具有数据爬取权限的URL地址上爬取数据，获得初始数据；若初始数据与爬取数据的提取方式匹配，则将初始数据存入数据库；对存入数据库的初始数据进行分类汇总，形成汇总表数据，并保存到数据库；将汇总表数据按照选择的模板导出。当需要爬取多个URL上的数据时，只需配置一次数据爬取参数，简化了配置流程；当需要导出数据时，可以在多个模板中选择用户所需模板，从而导出用户所需格式的数据；解决了现有数据爬取工具配置繁琐且导出数据格式单一的问题。

技术领域

本发明涉及网络测试技术领域，具体涉及一种数据爬取的方法及系统。

背景技术

在网络测试技术领域，在获取网络数据时，经常会用到抓包工具。

抓包工具是拦截查看网络数据包内容的软件；抓包工具由于其可以对数据通信过程中的所有lP报文实施捕获并进行逐层拆包分析，一直是传统固网数通维护工作中惯常用的故障排查工具，业内流行的抓包软件有很多：Wireshark、SnifferPro、Snoop以及Tcpdump等；各抓包软件除了在操作界面、应用平台稍有差别外，其他功能大致相似。

现有的抓包工具，在爬取数据的过程中，需要多次配置，比较繁琐；在导出数据时，能够选择的模板类型较少，导出的数据格式单一，不能满足复杂场景的需求。

发明内容

本发明的目的在于提供一种数据爬取的方法及系统，解决现有数据爬取工具配置繁琐且导出数据格式单一的问题。

根据本发明实施例的第一方面，提供一种数据爬取的方法，应用于，包括：

配置数据爬取参数，所述数据爬取参数包括多个URL地址、爬取数据的提取方式；

获取数据爬取参数；

根据数据爬取参数中的URL地址，查询URL地址对应的数据爬取权限，获得查询结果；

对查询结果进行判断，若存在URL地址具有数据爬取权限，则进行下一步操作，若所有URL地址都不具有数据爬取权限，则结束所有操作；

从具有数据爬取权限的URL地址上爬取数据，获得初始数据；

对初始数据进行第一次判断，若初始数据与爬取数据的提取方式匹配，则将初始数据存入数据库，若初始数据与爬取数据的提取方式不匹配，则将初始数据丢弃；

对存入数据库的初始数据进行分类汇总，形成汇总表数据，并保存到数据库；

将汇总表数据按照选择的模板导出。

优选地，所述数据爬取的方法，还包括：

对初始数据进行第一次判断之后，对初始数据进行第二次判断，若需要对初始数据进行深入解析，则根据初始数据中的二次URL地址再次爬取数据，若不需要对初始数据进行深入解析，则进行下一步操作。

优选地，

所述数据爬取参数还包括：是否多级获取；

所述配置数据爬取参数，在这个过程中，还去校验必填参数是否为空，如果必填参数为空，则结束所有操作；

必填参数包括URL地址。

优选地，所述获取数据爬取参数，包括：返回结果为HTML时，支持xpath语句和正则表达式语句；

返回结果为json语句时，支持json提取。

优选地，所述查询URL地址对应的数据爬取权限，具体为：

在robots.txt文档中查询URL地址对应的数据爬取权限。