[发明专利]一种分布式网络爬虫系统及其抓取方法

权利要求书

1.一种分布式网络爬虫系统，其特征在于，该系统包括参数化控制抓取模块、若干垂直频道抓取定制模块、统一抓取调度模块、通用存储和计算模块，以及抓取结果分发模块；其中：

所述参数化控制抓取模块，用于对待抓取的资源按照抓取内容、抓取类型、使用的UserAgent进行参数化配置；

所述垂直频道抓取定制模块，用于管理和约定各个垂直频道的抓取行为，并具有统计功能；

所述统一抓取调度模块，用于将各垂直频道的抓取请求做归并，按照对对方站点的礼貌控制和压力情况，统一调度抓取；

所述通用存储和计算模块，用于通过配置来使用不同垂直频道对于抓取的通用存储需求和计算需求；

所述抓取结果分发模块，用于按照各垂直频道抓取定制模块的抓取行为的约定，将结果发送到指定的去处。

2.根据权利要求1所述分布式网络爬虫系统，其特征在于，所述垂直频道抓取定制模块的子模块提交抓取任务须携带约定的令牌，通过令牌来控制抓取行为。

3.根据权利要求1所述分布式网络爬虫系统，其特征在于，所述统一抓取调度模块还允许设置有优先级、配额的多维度的调度策略。

4.根据权利要求1所述分布式网络爬虫系统，其特征在于，所述通用存储和计算模块，还用于将可复用的操作抽取出来。

5.根据权利要求1所述分布式网络爬虫系统，其特征在于，所述抓取结果分发模块，还用作结果缓存，并对于结果的订阅支持多对多的关系。

6.一种分布式网络爬虫系统的抓取方法，其特征在于，该方法包括：

A、为参数化控制抓取模块配置所需的各项参数，具体为：对待抓取资源按照抓取内容、抓取类型、使用的UserAgent的字段进行配置；

B、判断各垂直频道抓取定制模块的子模块提交的抓取任务是否携带有约定的令牌，如果有，则处理http头信息，然后执行步骤C；否则，返回步骤A；

C、判断待抓取的资源是否为约定的数据类型，如果是，则执行步骤D；否则，返回步骤A；

D、进一步判断待抓取的资源是否超过预设的阈值，如果否，则进行资源抓取，然后准备处理下一个；否则，返回步骤A。

7.根据权利要求6所述分布式网络爬虫系统的抓取方法，其特征在于，步骤A还包括：对附带参数进行设置，以满足定制化抓取行为的需要。