[发明专利]一种分布式农业网络数据采集方法及其采集系统

摘要

本发明涉及网络数据采集的技术领域，具体涉及一种分布式网络数据采集方法及其采集系统，该方法包括通过调度器对请求队列中的链接进行去重，并将请求队列分配给相应的从机节点进行网络数据采集；在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制；防御机制根据攻击行为判断攻击类型，并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否匹配；匹配时，执行与防御类型对应的防御措施来解除攻击；不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配，解决了在正常的网络数据采集工作遭到所采集的网站错误攻击时，能够及时的采取相应的措施解除危机。

主权项

1.一种分布式网络数据采集方法，其特征在于，该采集方法包括以下步骤：调度器对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制；所述防御机制根据所述攻击行为判断攻击类型，并判断所述攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配；在所述攻击类型与防御类型相匹配时，执行与所述防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；在所述攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配。