[发明专利]一种基于Heritrix爬虫的分布式采集方法及系统

摘要

本发明公开了一种基于Heritrix爬虫的分布式采集方法及系统，包括以下步骤：设置一个管理服务模块以及多个发布的Heritrix节点，管理服务模块监听到Heritrix节点信息后自动加入该节点并进行管理，初始种子以及节点任务，分配任务并生成配置文件；管理服务模块获取实际种子，Heritrix从实际种子的配置文件中获取实际种子，并从实际种子采集实际种子对应网页上生成的链接以及该链接对应的附加信息，Heritrix自动判别并抽取出满足条件的链接生成初始种子队列，Heritrix节点从初始种子获得实际种子信息，并解析其附加信息实施本发明的有益效果是，本申请有效实现了Heritrix的分布式采集，有效提高了系统工作系能。

主权项

1.一种基于Heritrix爬虫的分布式采集方法,其特征在于包括以下步骤：设置一个管理服务模块，并设置多个发布的Heritrix节点，所述管理服务模块为一个Heritrix节点管理的网页系统；通过UDP协议将所述的多个Heritrix节点广播到获取的初始种子所在的网段，管理服务模块监听到Heritrix节点信息后自动加入该节点并进行管理，管理服务模块获取初始种子以及节点任务，所述的种子为预置或者是来自于初始种子队列；管理服务模块获取节点任务，指定将任务建立到部分节点或者是全部节点上，管理服务模块通过调用Heritrix的应用程序编程接口API在发布的Heritrix节点上生成配置节点和任务信息的配置文件；管理服务模块根据Heritrix节点任务生成并获取管理服务模块获取的初始种子对应网页上的实际种子；Heritrix节点从初始种子获得实际种子信息，并解析实际种子的附加信息；Heritrix从配置文件中获取实际种子，并采集实际种子对应网页上生成的链接以及该链接对应的附加信息，Heritrix自动判别并抽取出满足条件的链接生成初始种子队列，所述附加信息包括采集层次、采集周期、节点分布、是否动态代理、子域名数量限定、正则信息。