[发明专利]一种分布式网络爬虫系统及其抓取方法

摘要

本发明公开一种分布式网络爬虫系统及其抓取方法，包括参数化控制抓取模块，用于对待抓取的资源按照抓取内容、抓取类型、使用的UserAgent进行参数化配置；垂直频道抓取定制模块，用于管理和约定各个垂直频道的抓取行为，并具有统计功能；统一抓取调度模块，用于将各垂直频道的抓取请求做归并，按照对对方站点的礼貌控制和压力情况，统一调度抓取；通用存储和计算模块，用于通过配置来使用不同垂直频道对于抓取的通用存储需求和计算需求；抓取结果分发模块，用于按照各垂直频道抓取定制模块的抓取行为的约定，将结果发送到指定的去处。采用本发明，能够进行多频道抓取，并有效利用现有的整体带宽等资源以更好地服务搜索引擎内部多种类子频道。

主权项

一种分布式网络爬虫系统，其特征在于，该系统包括参数化控制抓取模块、若干垂直频道抓取定制模块、统一抓取调度模块、通用存储和计算模块，以及抓取结果分发模块；其中：所述参数化控制抓取模块，用于对待抓取的资源按照抓取内容、抓取类型、使用的UserAgent进行参数化配置；所述垂直频道抓取定制模块，用于管理和约定各个垂直频道的抓取行为，并具有统计功能；所述统一抓取调度模块，用于将各垂直频道的抓取请求做归并，按照对对方站点的礼貌控制和压力情况，统一调度抓取；所述通用存储和计算模块，用于通过配置来使用不同垂直频道对于抓取的通用存储需求和计算需求；所述抓取结果分发模块，用于按照各垂直频道抓取定制模块的抓取行为的约定，将结果发送到指定的去处。