[发明专利]一种网页爬虫协作方法

权利要求书

1.一种网页爬虫协作方法，该方法用于多种网络环境下存在大量网页爬虫情况下的协作方法，所述的方法步骤如下：

步骤1，将一设定周期中某段时间同时在线的爬虫节点划分为一采集组，且各爬虫节点被划分的所有采集组的在线时间段相连接能实现一个周期的连续在线；

步骤2，以所述采集组为单位进行网页采集，且各采集组间还通过消息交换的方法协作实现设定周期内对网页内容的不间断采集；

步骤3，所述每个采集组内的若干爬虫节点协作存储该采集组所采集的网页；

其中，所述采集组包含两个以上的采集节点。

2.根据权利要求1所述的网页爬虫协作方法，其特征在于，所述每个采集组采用自动生成或配置的方式得到对应于该采集组的ID号。

3.根据权利要求1所述的网页爬虫协作方法，其特征在于，所述消息交换方法为：各采集组形成一个路由网络，节点依据路由信息表将信令或消息发送到另一个采集组；

其中，所述路由网络中的路由协议可采用IP网络路由中的路由协议，或对等网络中的各种DHT协议。

4.根据权利要求1所述的网页爬虫协作方法，其特征在于，所述消息交换方法为：中心控制消息交换方法，该方法的发送消息的节点向其所在网络的中心控制节点询问目的采集组对应的ID信息，在得到该信息后，以此信息为目的地发送消息。

5.根据权利要求1所述的网页爬虫协作方法，其特征在于，所述协作存储为：被采集的网页在与该采集节点位于同一采集组内的各爬虫节点上分别保存被采集网页的副本，所述各副本存储节点能单独针对所存储的网页验证是否最新，并执行更新；或由所有副本存储节点中的一个代表节点对网页验证是否最新，并通知其他存储该网页的副本节点执行更新或将被采集的网页直接发送到副本存放节点。

6.根据权利要求1所述的网页爬虫协作方法，其特征在于，所述步骤1进一步包含如下步骤：

爬虫节点上线后，向管理服务器注册，之后每隔一定时间，管理服务器轮询各爬虫节点设备，查询其在线状态；

管理服务器依据爬虫节点的在线信息将所有爬虫节点划分成若干采集组；

管理服务器将各采集组的信息反馈到爬虫节点，各爬虫节点依据该信息自组成网；

其中，所述爬虫节点的信息包含该节点所在网络和/或在线历史信息。