[发明专利]一种基于SDN的反过度爬虫方法

摘要

本发明公开了一种基于SDN的反过度爬虫方法，属于信息安全领域，其特征在于，包括以下步骤：a、搭建反爬虫SDN环境；b、部署敏感数据区；通过编写API使SDN控制器会抓取每一个新加入的服务器公开的robots.txt文件，获取制定的爬虫访问规则，并对相同User_Agent规则进行整合，将整合好的的Disallow的页面目录定义为敏感数据区，并把这些信息部署在SDN控制器上；c、黑名单等级限制。本发明通过在数据中心部署特定的SDN网络，针对数据中心的敏感数据区域和具体服务需求，对爬虫进行态势感知，根据服务需求，对非法爬虫采用针对性的防御手段，从而能够有效保障数据中心敏感数据的安全性。

主权项

1.一种基于SDN的反过度爬虫方法，其特征在于，包括以下步骤：a、搭建反爬虫SDN环境在数据中心搭建反爬虫SDN环境；b、在SDN控制器上部署敏感数据区通过编写API使SDN控制器会抓取每一个新加入的服务器公开的robots.txt文件，获取制定的爬虫访问规则，并对其中关于相同User_Agent的规则进行整合，将整合好的的Disallow的页面目录定义为敏感数据区，并把这些信息部署在SDN控制器上；c、黑名单等级限制通过SDN监测器对所有请求访问网络的爬虫程序进行监测，若IP在黑名单内，则对此次访问操作出限制；若未请求访问任何敏感数据区，则定义为安全的爬虫；若有爬虫程序试图访问SDN控制器中规定的敏感数据区，SDN防御模块则对其进行标记并监控，且阻止其访问敏感数据区的操作；若多次请求访问SDN控制器中规定的敏感数据区，则对其解除监控，仅针对访问敏感数据区的操作进行阻止；若后续仍多次请求访问敏感数据区或采用不同IP分别请求访问SDN控制器中规定的敏感数据区，则作出不同等级限制。