[发明专利]一种数据抓取的方法和装置

权利要求书

1.一种数据抓取的方法，其特征在于，包括：

响应于数据抓取请求，根据待抓取页面定义不少于一个功能节点，并对所述功能节点之间的组装规则进行配置得到配置文件；

解析所述配置文件，根据所述组装规则对所述功能节点进行组装，得到爬虫代码；

采用所述爬虫代码进行数据抓取，得到数据抓取结果。

2.根据权利要求1所述的方法，其特征在于，响应于数据抓取请求，根据待抓取页面定义不少于一个功能节点，并对所述功能节点之间的组装规则进行配置得到配置文件，包括：

响应于数据抓取请求，根据待抓取页面通过可视化界面定义不少于一个功能节点，所述功能节点包括：变量节点、循环节点、停止节点、抓取节点和输出节点；

根据所述功能节点，对所述功能节点之间的组装规则进行配置得到配置文件。

3.根据权利要求1或2所述的方法，其特征在于，解析所述配置文件，根据所述组装规则对所述功能节点进行组装，得到爬虫代码，包括：

基于所述配置文件，通过工厂模式将所述功能节点编译为对应的节点执行器；

通过责任链模式，按照所述组装规则将所述功能节点对应的节点执行器组装为爬虫代码。

4.根据权利要求3所述的方法，其特征在于，若所述功能节点为变量节点，则将所述功能节点编译为变量节点执行器，所述变量节点执行器用于：

将变量表达式解析为抽象语法树，结合变量存放容器中的原始变量，动态计算得到所述变量表达式的值，并作为条件变量存入所述变量存放容器，以供后续计算使用。

5.根据权利要求3所述的方法，其特征在于，若所述功能节点为循环节点，则将所述功能节点编译为循环节点执行器；若所述功能节点为停止节点，则将所述功能节点编译为停止节点执行器；

所述循环节点执行器用于指定抓取节点的并发执行，以及和停止节点执行器配合使用实现数据的循环抓取。

6.根据权利要求3所述的方法，其特征在于，若所述功能节点为抓取节点，则将所述功能节点编译为抓取节点执行器，所述抓取节点执行器在进行页面数据抓取时支持统一资源定位符的去重设置。

7.根据权利要求1所述的方法，其特征在于，采用所述爬虫代码进行数据抓取之前，还包括：

根据所述配置文件，编译生成调试节点执行器，用于进行所述功能节点的调试。

8.一种数据抓取的装置，其特征在于，包括：

配置获取模块，用于响应于数据抓取请求，根据待抓取页面定义不少于一个功能节点，并对所述功能节点之间的组装规则进行配置得到配置文件；

爬虫代码获取模块，用于解析所述配置文件，根据所述组装规则对所述功能节点进行组装，得到爬虫代码；

数据抓取模块，用于采用所述爬虫代码进行数据抓取，得到数据抓取结果。

9.一种移动电子设备终端，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。