[发明专利]一种网页爬虫协作方法

说明书

技术领域

本发明涉及信息网络技术领域，特别涉及一种网页爬虫协作方法。

背景技术

如今互联网搜索引擎成为人们日常生活不可或缺的一种工具，如谷歌、百度、搜狗、人民搜索等。搜索资讯、学习、疑难问题解答、广告等等，搜索引擎业务渗透到生活的方方面面。在搜索引擎中，至关重要的一步是相关信息的采集获取，在互联网上则典型地体现为网页的采集。

网页的采集经历了几个阶段。第一个阶段是单主机采集阶段，这是典型的中心处理方式；第二个阶段是多台主机协作的集群采集阶段，其特征表现为这些主机处于一个IDC机房或高速互联的网络之中，其间通信不会成为问题，同时各主机是长在线的，有一台控制主机；第三个阶段是相距较远的多台主机协作的P2P采集阶段，其特征表现为这些主机是由相关机构无偿奉献的，意图促进对等协作，主机呈现长时间在线特征，没有中心控制点。

上述三个阶段除第一个阶段处在第二阶段、第三阶段之前、由于明显的单机处理能力等缺陷而被淘汰之外，第二、三阶段是并行的，是由两种主导思路决定的，严格说来是分布式网页采集的两种实现比较合适，集群采集是由公司主导的，其目的是靠搜索得来的信息赢利，P2P采集是P2P搜索引擎的基础，完全是一种社会化网络行为，其作用在于抵消公司主导搜索引擎的弊端。

另外，随着用户终端资源能力的日益增强，其资源在开机的大部分时间内处于空闲运行状态，浪费非常严重；同时这些终端的在线呈现不同的周期性特征(例如日(day)周期、周(week)周期)，在线时长则一般随用户不同而呈现准常数周期变化。

在现有技术中，由一台主机负责一定范围内(如IP地址或域名某个区段内网站内容采集)的网页爬取和更新，并通过存储接口存储在本地、集中式存储或分布式系统内。

上述集群采集方法面临采集带宽大量消耗、经费以及网页的海量存储问题，P2P采集又面临利他用途的可持续问题。

发明内容

本发明的目的在于，为克服目前采集设备中心化面临的带宽问题和网页的海量存储问题，同时将利他和利已用户相结合，解决P2P采集的可持续问题，从而提供一种网页爬虫协作方法。

为实现上述目的，本发明提供一种网页爬虫协作方法，该方法用于多种网络环境下存在大量网页爬虫情况下的协作方法，所述的方法步骤如下：

步骤1，将一设定周期中某段时间同时在线的爬虫节点划分为一采集组，且各爬虫节点被划分的所有采集组的在线时间段相连接能实现一个周期的连续在线。

步骤2，以所述采集组为单位进行网页采集，且各采集组间还通过消息交换的方法协作实现设定周期内对网页内容的不间断采集。

步骤3，所述每个采集组内的若干爬虫节点协作存储该采集组所采集的网页。

其中，所述采集组包含两个以上的采集节点。2、根据权利要求1所述的网页爬虫协作方法，其特征在于，所述每个采集组采用自动生成或配置的方式得到对应于该采集组的ID号。

上述技术方案中，所述消息交换方法为：各采集组形成一个路由网络，节点依据路由信息表将信令或消息发送到另一个采集组；其中，所述路由网络中的路由协议可采用IP网络路由中的路由协议，或对等网络中的各种DHT协议。

所述消息交换方法为：中心控制消息交换方法，该方法的发送消息的节点向其所在网络的中心控制节点询问目的采集组对应的ID信息，在得到该信息后，以此信息为目的地发送消息。

所述协作存储为：被采集的网页在与该采集节点位于同一采集组内的各爬虫节点上分别保存被采集网页的副本，所述各副本存储节点能单独针对所存储的网页验证是否最新，并执行更新；或由所有副本存储节点中的一个代表节点对网页验证是否最新，并通知其他存储该网页的副本节点执行更新或将被采集的网页直接发送到副本存放节点。

所述步骤1进一步包含如下步骤：

爬虫节点上线后，向管理服务器注册，之后每隔一定时间，管理服务器轮询各爬虫节点设备，查询其在线状态；管理服务器依据爬虫节点的在线信息将所有爬虫节点划分成若干采集组；管理服务器将各采集组的信息反馈到爬虫节点，各爬虫节点依据该信息自组成网；其中，所述爬虫节点的信息包含该节点所在网络和/或在线历史信息。