[发明专利]一种数据抓取的方法和装置

说明书

本发明公开了一种数据抓取的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于数据抓取请求，根据待抓取页面定义不少于一个功能节点，并对所述功能节点之间的组装规则进行配置得到配置文件；解析所述配置文件，根据所述组装规则对所述功能节点进行组装，得到爬虫代码；采用所述爬虫代码进行数据抓取，得到数据抓取结果。该实施方式采用基于使用者灵活建立的配置文件，后台按照配置文件动态生成爬虫代码，以进行数据抓取的方法，既实现了前端的无代码灵活配置，又降低了爬虫代码与网络客体环境的耦合性，从而达到了降低数据抓取的开发成本和使用门槛，进而提升开发效率的目的。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据抓取的方法和装置。

背景技术

随着计算机技术在各个领域的推广和应用，大数据时代应运而生，通过互联网、社交网络、物联网，我们能够及时全面地抓取有效的数据信息。目前数据抓取的常用方法是使用爬虫，爬虫是一段可以在网页上自动抓取信息的程序，通过爬虫，可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，实现有效数据信息的获取。

在实现本发明过程中，发明人发现现有技术中存在如下问题：

在现实的应用中，虽然网络爬虫相关技术层出不穷，但是基本原理都是对爬取过程的封装，在实际使用时还需要使用者进行二次编码开发，存在定制化严重的问题；而且对于定制化的网络爬虫，由于与网络客体环境之间的强耦合性，致使维护和升级的成本增高，不利于实际应用。

发明内容

有鉴于此，本发明实施例提供一种数据抓取的方法和装置，通过采用基于使用者灵活建立的配置文件，后台按照配置文件动态生成爬虫代码以进行数据抓取的方法，既实现了前端的无代码灵活配置，又降低了爬虫代码与网络客体环境的耦合性，从而达到了降低数据抓取的开发成本和使用门槛，进而提升开发效率的目的。

为实现所述目的，根据本发明实施例的一个方面，提供了一种数据抓取的方法，包括：

响应于数据抓取请求，根据待抓取页面定义不少于一个功能节点，并对所述功能节点之间的组装规则进行配置得到配置文件；

解析所述配置文件，根据所述组装规则对所述功能节点进行组装，得到爬虫代码；

采用所述爬虫代码进行数据抓取，得到数据抓取结果。

可选地，响应于数据抓取请求，根据待抓取页面定义不少于一个功能节点，并对所述功能节点之间的组装规则进行配置得到配置文件，包括：响应于数据抓取请求，根据待抓取页面通过可视化界面定义不少于一个功能节点，所述功能节点包括：变量节点、循环节点、停止节点、抓取节点和输出节点；根据所述功能节点，对所述功能节点之间的组装规则进行配置得到配置文件。

可选地，解析所述配置文件，根据所述组装规则对所述功能节点进行组装，得到爬虫代码，包括：基于所述配置文件，通过工厂模式将所述功能节点编译为对应的节点执行器；通过责任链模式，按照所述组装规则将所述功能节点对应的节点执行器组装为爬虫代码。

可选地，若所述功能节点为变量节点，则将所述功能节点编译为变量节点执行器，所述变量节点执行器用于：将变量表达式解析为抽象语法树，结合变量存放容器中的原始变量，动态计算得到所述变量表达式的值，并作为条件变量存入所述变量存放容器，以供后续计算使用。

可选地，若所述功能节点为循环节点，则将所述功能节点编译为循环节点执行器；若所述功能节点为停止节点，则将所述功能节点编译为停止节点执行器；所述循环节点执行器用于指定抓取节点的并发执行，以及和停止节点执行器配合使用实现数据的循环抓取。

可选地，若所述功能节点为抓取节点，则将所述功能节点编译为抓取节点执行器，所述抓取节点执行器在进行页面数据抓取时支持统一资源定位符的去重设置。