[发明专利]一种分布式农业网络数据采集方法及其采集系统

权利要求书

1.一种分布式农业网络数据采集方法，其特征在于，该采集方法包括以下步骤：

调度器对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；

在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制；

所述防御机制根据所述攻击行为判断攻击类型，并判断所述攻击类型与该采集节点所对应的从机节点预设的多种防御类型中的一种是否相匹配，其中，所述多种防御类型中的每种防御类型都对应于一个防御措施；

在所述攻击类型与防御类型相匹配时，执行与所述防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；

在所述攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配；

其中，所述执行与所述防御类型对应的防御措施来解除攻击，具体为：

在所述攻击类型为基于Headers反爬虫时，则采取的防御措施为将浏览器的User-Agent添加到Scrapy的Headers中或者将Referer值修改为目标网站域名；

在所述攻击类型为动态页面反爬虫时，则采取的防御措施为利用Selenium+Phantomjs框架，调用浏览器内核，并利用Phantomjs执行脚本语言来模拟人为操作以及触发页面中的脚本语言；

在所述攻击类型为基于虚假信息反爬虫时，则采取的防御措施为通过数据内容相关性判断剔除一些因被反爬虫机制感知而故意返回的虚假信息。

2.根据权利要求1所述的一种分布式农业网络数据采集方法，其特征在于，在所述采集节点的网络数据采集行为未遭到所采集的网站的攻击行为或者在解除攻击之后时，还包括：

判断所述采集节点是否捕捉到新链接；

在捕捉到新链接时，对所述新链接进行相关性评估，在所述新链接通过相关性评估后，将所述新链接发送给所述调度器进行去重，并将去重后的新链接加入到请求队列中；

在没有捕捉到新链接时，将采集到的数据结果进行存储。

3.根据权利要求1或2所述的一种分布式农业网络数据采集方法，其特征在于，所述调度器包括Redis数据库和MongoDB数据库，Redis数据库用于存放所述请求队列，MongoDB数据库用于存放采集的数据结果。

4.根据权利要求3所述的一种分布式农业网络数据采集方法，其特征在于，在所述调度器对请求队列中的链接进行去重之前，还包括根据实际任务获取种子链接。

5.一种分布式农业网络数据采集系统，其特征在于，该采集系统包括：

调度模块，用于对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；

防御检测模块，用于检测相应的采集节点的网络数据采集行为是否遭到所采集的网站的攻击行为，在遭遇攻击行为时，触发相应的防御机制；

判断模块，用于在所述防御机制被触发时，根据所述攻击行为判断攻击类型，并判断所述攻击类型与该采集节点所对应的从机节点预设的多种防御类型中的一种是否相匹配，其中，所述多种防御类型中的每种防御类型都对应于一个防御措施；

防御执行模块，用于在所述攻击类型与防御类型相匹配时，执行与所述防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；在所述攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配；

其中，所述执行与所述防御类型对应的防御措施来解除攻击，具体为：

在所述攻击类型为基于Headers反爬虫时，则采取的防御措施为将浏览器的User-Agent添加到Scrapy的Headers中或者将Referer值修改为目标网站域名；

在所述攻击类型为动态页面反爬虫时，则采取的防御措施为利用Selenium+Phantomjs框架，调用浏览器内核，并利用Phantomjs执行脚本语言来模拟人为操作以及触发页面中的脚本语言；

在所述攻击类型为基于虚假信息反爬虫时，则采取的防御措施为通过数据内容相关性判断剔除一些因被反爬虫机制感知而故意返回的虚假信息。