[发明专利]一种分布式网络爬虫系统及其抓取方法

说明书

技术领域

 本发明涉及搜索引擎技术，尤其涉及一种分布式网络爬虫系统及其抓取方法，该方法可用于搜索引擎网络爬虫模块中。

背景技术

 目前的很多搜索引擎都涵盖多种垂直搜索频道，而每个垂直频道的数据来源，90%以上要通过网络爬虫主动抓取完成。

由于不同垂直频道产品之间存在着抓取数据类型不同、资源内容大小各异等区别，同时每个垂直频道产品都更希望自己的抓取任务能够单独处理，不被其他业务干扰，这就要求每个垂直频道的抓取处理任务是独立的，但是不同垂直频道又可能对同一个站点都有访问需求。因此会造成整体带宽资源与搜索引擎内部多个垂直频道之间的矛盾。

发明内容

 有鉴于此，本发明的主要目的在于提供一种分布式网络爬虫系统及其抓取方法，综合考虑各业务抓取的独立性需求、对互联网站点的礼貌访问控制和对网络带宽的有效利用，采取多子任务抓取独立、资源统一管理的方式进行多频道抓取，有效利用现有的整体带宽等资源以更好地服务搜索引擎内部多种类子频道。

为达到上述目的，本发明的技术方案是这样实现的：

一种分布式网络爬虫系统，该系统包括参数化控制抓取模块、若干垂直频道抓取定制模块、统一抓取调度模块、通用存储和计算模块，以及抓取结果分发模块；其中：

所述参数化控制抓取模块，用于对待抓取的资源按照抓取内容、抓取类型、使用的UserAgent进行参数化配置；

所述垂直频道抓取定制模块，用于管理和约定各个垂直频道的抓取行为，并具有统计功能；

所述统一抓取调度模块，用于将各垂直频道的抓取请求做归并，按照对对方站点的礼貌控制和压力情况，统一调度抓取；

所述通用存储和计算模块，用于通过配置来使用不同垂直频道对于抓取的通用存储需求和计算需求；

所述抓取结果分发模块，用于按照各垂直频道抓取定制模块的抓取行为的约定，将结果发送到指定的去处。

其中：所述垂直频道抓取定制模块的子模块提交抓取任务须携带约定的令牌，通过令牌来控制抓取行为。

所述统一抓取调度模块还允许设置有优先级、配额的多维度的调度策略。

所述通用存储和计算模块，还用于将可复用的操作抽取出来。

所述抓取结果分发模块，还用作结果缓存，并对于结果的订阅支持多对多的关系。

一种分布式网络爬虫系统的抓取方法，该方法包括：

A、为参数化控制抓取模块配置所需的各项参数，具体为：对待抓取资源按照抓取内容、抓取类型、使用的UserAgent的字段进行配置；

B、判断各垂直频道抓取定制模块的子模块提交的抓取任务是否携带有约定的令牌，如果有，则处理http头信息，然后执行步骤C；否则，返回步骤A；

C、判断待抓取的资源是否为约定的数据类型，如果是，则执行步骤D；否则，返回步骤A；

D、进一步判断待抓取的资源是否超过预设的阈值，如果否，则进行资源抓取，然后准备处理下一个；否则，返回步骤A。

其中：步骤A还包括：对附带参数进行设置，以满足定制化抓取行为的需要。

本发明所提供的分布式网络爬虫系统及其抓取方法，具有以下优点：

该分布式网络爬虫系统的各个垂直频道的抓取为单独配置，能够针对各个频道的特点进行抓取，可以满足每个频道的定制的需求。由于将抓取任务进行了整合，设计时考虑到了对站点的压力控制、带宽的利用、抓取结果的订阅和共享等方面，满足了统一调度控制的需求。该发明能够满足一个搜索引擎有多个垂直子频道时，对网络爬虫的需求。

附图说明

图1为本发明分布式网络爬虫系统的模块关系示意图；

图2为本发明分布式网络爬虫系统的抓取方法流程图；

图3为本发明统一调度模块的基本逻辑示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的分布式爬虫系统及其抓取方法作进一步详细的说明。

图1为本发明分布式网络爬虫系统的模块关系示意图，如图1所示，该系统具体包括参数化控制抓取模块、若干垂直频道抓取定制模块、统一抓取调度模块、抓取结果的通用存储和计算模块，以及抓取结果分发模块。其中：

所述参数化控制抓取模块，为了更好的利用带宽和连接等资源，对待抓取资源按照抓取内容、抓取类型、使用的UserAgent等字段进行参数化配置，每一个抓取单元（可以理解成一个url）不仅有实际的抓取url，还有一些附带参数用于定制自己的抓取行为，这样就实现了相同的抓取框架不同的抓取行为。