[发明专利]基于MapReduce的网站运行状态监控与异常检测

权利要求书

1.基于MapReduce的网站运行状态监控与异常检测，其特征在于，该发明依次含有以下步骤：

状态监控

分析异常状态码，采用线性回归策略自动汇报异常情况

日志记录中的状态码能有效反应出网站的运行状态，常见的异常状态码有： 

3xx - 重定向 

客户端浏览器必须采取更多操作来实现请求；

例如，浏览器可能不得不请求服务器上的不同的页面，或通过代理服务器重复该请求；

常见：301（永久定向）、302（临时定向） 

4xx - 客户端错误 

发生错误，客户端似乎有问题；

例如，客户端请求不存在的页面，客户端未提供有

效的身份验证信息；

常见：404（未找到，不存在） 

5xx - 服务器错误 

通过日志抽出每日这三类异常状态码，观察网站的运行状态，常见作用如： 

找出死链接 

找出临时重定向（搜索引擎蜘蛛不喜欢临时重定向） 对于404，需要检查这个文件是否存在，如果文件存在而返回了404 则可能是因为服务器不稳定因素造成，可能是服务器本身问题也可能是被攻击；

如果文件本身就不存在而蜘蛛还会去爬那个不存在的页面，则是因为还有其他页面有链接到那个不存在的页面

每秒访问次数和流量统计,并计算当日平均每秒访问次数和流量统，及排名前10的每秒访问次数和流量

访问流量的汇报用于告诉预报是否有采集程序在大量抓取网站数据，这种行为会严重影响网站的服务性能，通过报告每日排名前10的每秒访问次数和流量及平均指标，能直观的反应出是否有采集程序的出现

蜘蛛爬虫统计分析

蜘蛛的来访数量以及频率是网站健康程度与网站权重的指标之一 

统计搜索引擎蜘蛛的抓取频率主要作用在于： 

1.预测其关键词排名情况： 

如果以前蜘蛛每天要来成百上千次，那么这个时候你的网站是具备吸引力，往往关键词的表现也比较稳健，而当蜘蛛来访次数发生比较大减少时，说明你的网站发生了问题，可能是因为改版、或者遭受了惩罚等等原因，这个时候通过来访次数减少，你就应该有一种预感，关键词排名要发生变动了；

2.发现搜索引擎访问了哪些没必要的东西、图片，然后可以用robots.txt 文件禁用，因为这样可以让蜘蛛更多的去访问有用的东西，从而让网站更多的被收录

页面分区板块访问排名

统计各个板块的页面访问量，是分析网站内容、排版是否有吸引力的最直接方式

说明：以上状态监控各步骤均采用MapReduce并行模型

特征异常检测

MapReduce模型并行统计出每日访问量过万的IP，保存做进一步的分析

对于符合步骤1的IP，检察其用户代理信息为空的几率，如果几率大于阈值T1，则进入下一步的分析

继续检察满足步骤1,2的IP，验证其请求资源类型的分布结构（HTML、XML、CSS、JS），如果请求HTML的几率大于阈值T2，进入下一步分析

对于满足步骤1,2,3的IP，采用MapReduce并行模型统计当前IP的访问频率，如果访问频率大于阈值T3，则当前IP被判定为异常采集程序

流量峰值检测

正常网站的访问流量一般较为平稳，虽然也有峰值频发的情况，但都呈现出一定的规律性，如新闻网站的上午时间通常出现高峰，而周末的上午时间则流量小于工作日；足球直播网站的高峰通常出现在周末晚间；股票网站在工作日的9点至15点访问量较高；

通过在进行日志分析设定此与类相关的经验规则，可有助于流量检测的精确性和可靠性；

本程序通过指定天、星期、时等信息来指定已经发现的访问规律，如下表格所示：

天星期起始时间结束时间注释ALLALL07:00:0009:00:00#每天早上的用户访问高峰ALL621:00:0023:00:00#周六，该用户在周末两天有一档较为火热的节目，因此流量较高，平时有一些球赛直播

在与日志文件相关联的同名规则文件中，可指定上述规则信息；

在上面表格的例1中，意即在每天早上的7:00至9:00时段，会出现一些访问流量高峰；

当检测到这些高峰时，可默认为是正常流量访问；

而例2则表示每周六均会出现较高的流量高峰，因此设定这些合理规则可在搜索异常流量峰值访问时，提高程序的可靠性；

步骤（3.2）：获取流量整体偏差

通过观察，流量整体偏差直接可反映出访问流量的分布情况，访问情况均匀正常的流量表现为较低的偏差值，而异常频发的日志流量则表现为较高的偏差值，而整体偏差则反映着该网站的整体流量访问情况；

步骤（3.3）：搜索异常峰值访问点

通过设定窗口w和偏差系数k初始值，程序将以固定的窗口单位来检测时间区间内的峰值访问；

首先，程序会首先通过计算该时间区间的流量偏差S’，与整体访问流量偏差S进行比较，如果S’>k*S，则表明该窗口区间w内存在着异常峰值；

然后通过连续向后不断检测该区间，直到找到最大的峰值点，判断该峰值点是否出现在先前定义的网站合理规则定义中，如果是则报告该峰值为正常，并提示匹配规则，否则报告异常流量峰值访问，以醒目红色状态提醒；

决策树学习访问规则

在流量峰值检测阶段，网站每次的访问流量将会通过异常峰值搜索算法标记出，这些异常峰值不仅会触发异常警报，提醒管理员注意当前流量状态，也会进一步提供操作界面给管理员分析当前状态的真实情况；

步骤（4.2）：手动纠正异常流量

如果在当前的异常峰值属于正常，意即当前的访问规则中没有此类规则，属于误报情况，则会通过管理员在操作界面中的交互操作，提供进一步的学习，以提高程序监控与检测的准确率；

步骤（4.3）：决策树学习访问规则

决策树学习通过把实例从根节点排列到某个叶子节点来分类实例，叶子节点即为实例所属的分类；

树上的每一个节点说明了对实例的某个属性的测试，并且该节点的每一个后继分支对应于该属性的一个可能值；

在这里，我们首先针对网站日志访问记录提取各个特征属性如下：天、星期、时间、流量值、异常与否，同时应用能处理连续属性的C4.5决策树学习算法，在其基础上，还加入增量学习的特性，使得学习过程不仅能完成网站访问规则的提取，同时还能满足网站日志访问流式记录的特点，在不丢失原有学习规则的基础上，加入新的数据，进行进一步的学习；

步骤（4.4）：更新网站访问规则

在完成决策树学习阶段后，系统会将这些学习到的新规则动态地更新到流量异常检测阶段中，从而提高异常检测的准确率。