[发明专利]一种基于分布式的网络自适应分类爬虫方法

摘要

本发明公开一种基于分布式的网络自适应分类爬虫方法，属于网络爬虫和反爬虫技术领域，该方法首先是采用支持向量基SVM对各信息源网站进行反爬虫技术的精确分类；然后根据反爬虫手段的分类结果选择与之相抗衡的爬虫策略，最后基于分布式的自适应爬虫技术进行数据爬取，对分类模型进行评估。该方法可以用于舆情大数据的获取。这样根据反爬虫技术的不同分类，能更加精准有效的采用与之相抗衡的爬虫技术破解，快速获取信息源的数据。极大程度上减少了不必要的测试被反爬手段规避掉的风险。