[发明专利]基于概念漂移的航空服务器访问爬虫的可视检测方法

摘要

本发明公开了基于概念漂移的航空服务器访问爬虫的可视检测方法，后端解释航空服务器的访问日志数据，抽取关键信息，基于时间间隔将单个IP的访问行为分给为多个访问段，使用机场信息文件分析航线热门信息；结合关键信息及航线热门信息计算访问段内十一个重要特征，组成特征向量作为访问段的行为特征；在样本选择中，选择已订票IP为正样本，而负样本采用自动方法选取。使用选取的训练样本训练CNN模型。最后基于概念漂移技术检测和更新爬虫检测模型。此方法方便分析爬虫检测的效果；同时通过协助用户选择和更新训练样本,交互地改进分类器性能,提高分类器对爬虫进化的适应能力。因而,本系统也是对深度学习模型分类器的一种可视分析改进方法。