[发明专利]基于MapReduce的网站运行状态监控与异常检测

摘要

本发明采用MapReduce并行编程模型，完成状态监控与异常检测，其从海量的日志文件中抓取最佳信息点，并采用有效的策略，高效、准确的捕捉出访问过程中的异常行为。本发明采取四种并行策略对网址日志进行分析处理，从而达到对网站运行状态的监控和异常访问检测。这四种策略分别是状态监控、特征异常检测、流量峰值检测、决策树学习访问规则。

主权项

基于MapReduce的网站运行状态监控与异常检测，其特征在于，该发明依次含有以下步骤：状态监控分析异常状态码，采用线性回归策略自动汇报异常情况日志记录中的状态码能有效反应出网站的运行状态，常见的异常状态码有： 3xx ‑ 重定向 客户端浏览器必须采取更多操作来实现请求；例如，浏览器可能不得不请求服务器上的不同的页面，或通过代理服务器重复该请求；常见：301（永久定向）、302（临时定向） 4xx ‑ 客户端错误 发生错误，客户端似乎有问题；例如，客户端请求不存在的页面，客户端未提供有效的身份验证信息；常见：404（未找到，不存在） 5xx ‑ 服务器错误 通过日志抽出每日这三类异常状态码，观察网站的运行状态，常见作用如： 找出死链接 找出临时重定向（搜索引擎蜘蛛不喜欢临时重定向） 对于404，需要检查这个文件是否存在，如果文件存在而返回了404 则可能是因为服务器不稳定因素造成，可能是服务器本身问题也可能是被攻击；如果文件本身就不存在而蜘蛛还会去爬那个不存在的页面，则是因为还有其他页面有链接到那个不存在的页面每秒访问次数和流量统计,并计算当日平均每秒访问次数和流量统，及排名前10的每秒访问次数和流量访问流量的汇报用于告诉预报是否有采集程序在大量抓取网站数据，这种行为会严重影响网站的服务性能，通过报告每日排名前10的每秒访问次数和流量及平均指标，能直观的反应出是否有采集程序的出现蜘蛛爬虫统计分析蜘蛛的来访数量以及频率是网站健康程度与网站权重的指标之一 统计搜索引擎蜘蛛的抓取频率主要作用在于： 1.预测其关键词排名情况： 如果以前蜘蛛每天要来成百上千次，那么这个时候你的网站是具备吸引力，往往关键词的表现也比较稳健，而当蜘蛛来访次数发生比较大减少时，说明你的网站发生了问题，可能是因为改版、或者遭受了惩罚等等原因，这个时候通过来访次数减少，你就应该有一种预感，关键词排名要发生变动了；2.发现搜索引擎访问了哪些没必要的东西、图片，然后可以用robots.txt 文件禁用，因为这样可以让蜘蛛更多的去访问有用的东西，从而让网站更多的被收录页面分区板块访问排名统计各个板块的页面访问量，是分析网站内容、排版是否有吸引力的最直接方式说明：以上状态监控各步骤均采用MapReduce并行模型特征异常检测MapReduce模型并行统计出每日访问量过万的IP，保存做进一步的分析对于符合步骤1的IP，检察其用户代理信息为空的几率，如果几率大于阈值T1，则进入下一步的分析继续检察满足步骤1,2的IP，验证其请求资源类型的分布结构（HTML、XML、CSS、JS），如果请求HTML的几率大于阈值T2，进入下一步分析对于满足步骤1,2,3的IP，采用MapReduce并行模型统计当前IP的访问频率，如果访问频率大于阈值T3，则当前IP被判定为异常采集程序流量峰值检测正常网站的访问流量一般较为平稳，虽然也有峰值频发的情况，但都呈现出一定的规律性，如新闻网站的上午时间通常出现高峰，而周末的上午时间则流量小于工作日；足球直播网站的高峰通常出现在周末晚间；股票网站在工作日的9点至15点访问量较高；通过在进行日志分析设定此与类相关的经验规则，可有助于流量检测的精确性和可靠性；本程序通过指定天、星期、时等信息来指定已经发现的访问规律，如下表格所示：天星期起始时间结束时间注释ALLALL07:00:0009:00:00#每天早上的用户访问高峰ALL621:00:0023:00:00#周六，该用户在周末两天有一档较为火热的节目，因此流量较高，平时有一些球赛直播在与日志文件相关联的同名规则文件中，可指定上述规则信息；在上面表格的例1中，意即在每天早上的7:00至9:00时段，会出现一些访问流量高峰；当检测到这些高峰时，可默认为是正常流量访问；而例2则表示每周六均会出现较高的流量高峰，因此设定这些合理规则可在搜索异常流量峰值访问时，提高程序的可靠性；步骤（3.2）：获取流量整体偏差通过观察，流量整体偏差直接可反映出访问流量的分布情况，访问情况均匀正常的流量表现为较低的偏差值，而异常频发的日志流量则表现为较高的偏差值，而整体偏差则反映着该网站的整体流量访问情况；步骤（3.3）：搜索异常峰值访问点通过设定窗口w和偏差系数k初始值，程序将以固定的窗口单位来检测时间区间内的峰值访问；首先，程序会首先通过计算该时间区间的流量偏差S’，与整体访问流量偏差S进行比较，如果S’>k*S，则表明该窗口区间w内存在着异常峰值；然后通过连续向后不断检测该区间，直到找到最大的峰值点，判断该峰值点是否出现在先前定义的网站合理规则定义中，如果是则报告该峰值为正常，并提示匹配规则，否则报告异常流量峰值访问，以醒目红色状态提醒；决策树学习访问规则在流量峰值检测阶段，网站每次的访问流量将会通过异常峰值搜索算法标记出，这些异常峰值不仅会触发异常警报，提醒管理员注意当前流量状态，也会进一步提供操作界面给管理员分析当前状态的真实情况；步骤（4.2）：手动纠正异常流量如果在当前的异常峰值属于正常，意即当前的访问规则中没有此类规则，属于误报情况，则会通过管理员在操作界面中的交互操作，提供进一步的学习，以提高程序监控与检测的准确率；步骤（4.3）：决策树学习访问规则决策树学习通过把实例从根节点排列到某个叶子节点来分类实例，叶子节点即为实例所属的分类；树上的每一个节点说明了对实例的某个属性的测试，并且该节点的每一个后继分支对应于该属性的一个可能值；在这里，我们首先针对网站日志访问记录提取各个特征属性如下：天、星期、时间、流量值、异常与否，同时应用能处理连续属性的C4.5决策树学习算法，在其基础上，还加入增量学习的特性，使得学习过程不仅能完成网站访问规则的提取，同时还能满足网站日志访问流式记录的特点，在不丢失原有学习规则的基础上，加入新的数据，进行进一步的学习；步骤（4.4）：更新网站访问规则在完成决策树学习阶段后，系统会将这些学习到的新规则动态地更新到流量异常检测阶段中，从而提高异常检测的准确率。