[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取有关网络数据处理规则的配置信息；

根据所述配置信息，生成配置文件；

从网络侧获取数据任务指示站点的目标网页；

根据所述配置文件，从所述目标网页中获取需求数据。

2.根据权利要求1所述的方法，其特征在于，所述从网络侧获取数据任务指示站点的目标网页，包括：

从数据任务队列中，获取任务调度系统分配的所述数据任务；

从代理池中选出一个目标代理，以通过所述目标代理向所述数据任务指定的站点发送请求；

接收所述目标代理反馈的所述目标网页。

3.根据权利要求2所述的方法，其特征在于，所述从网络侧获取数据任务指示站点的目标网页，还包括：

若所述目标代理反馈的是错误信息，则从所述代理池中重新选择一个代理作为所述目标代理。

4.根据权利要求3所述的方法，其特征在于，还包括：

若所述目标代理反馈的是错误信息，则将所述目标代理的代理标识位加预设值；

若所述目标代理的代理标识位的数值大于阈值，则将所述目标代理从所述代理池中移除；

若所述目标代理的代理标识位的数值小于阈值，则将所述目标代理移动到所述代理池的队列队尾。

5.根据权利要求2至4中任一项所述的方法，其特征在于，还包括：

若所述数据任务被中断，则将中断时剩余未完成的任务记为新任务；

将所述新任务添加到所述数据任务队列中。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述配置文件包括：数据解析配置子文件、数据输出格式配置子文件和数据清洗配置子文件；以及

所述根据所述配置文件，从所述目标网页中获取需求数据，包括：

基于所述数据解析配置子文件，在所述目标网页中定位出欲抓取数据的位置；

从所述目标网页中解析出所述位置处的数据，得到第一数据；

将所述第一数据的格式转换为所述数据输出格式配置子文件指定的数据输出格式，得到第二数据；

根据所述数据清洗配置子文件，对所述第二数据进行清洗得到所述需求数据。

7.一种数据处理装置，其特征在于，包括：

第一获取模块，用于获取有关网络数据处理规则的配置信息；

生成模块，用于根据所述配置信息，生成配置文件；

第二获取模块，用于从网络侧获取数据任务指示站点的目标网页；根据所述配置文件，从所述目标网页中获取需求数据。

8.根据权利要求7所述的装置，其特征在于，所述第二获取模块还用于：

从数据任务队列中，获取任务调度系统分配的所述数据任务；

从代理池中选出一个目标代理，以通过所述目标代理向所述数据任务指定的站点发送请求；

接收所述目标代理反馈的所述目标网页。

9.根据权利要求7所述的装置，其特征在于，所述第二获取模块还用于：

若所述目标代理反馈的是错误信息，则从所述代理池中重新选择一个代理作为所述目标代理。

10.根据权利要求9所述的装置，其特征在于，还包括：

第一处理模块，用于当所述目标代理反馈的是错误信息时，将所述目标代理的代理标识位加预设值；

移除模块，用于当所述目标代理的代理标识位的数值大于阈值时，将所述目标代理从所述代理池中移除；

移动模块，用于当所述目标代理的代理标识位的数值小于阈值时，将所述目标代理移动到所述代理池的队列队尾。