[发明专利]一种从Web日志中挖掘攻击频繁序列模式的方法

说明书

本发明涉及网络安全领域的数据挖掘，具体涉及一种从Web日志中挖掘攻击频繁序列模式的方法。本发明的方法包括：收集网站访问日志文件，网页信息及攻击特征码；解析网站日志结构，将解析出的URL与收集到的攻击特征码进行匹配，得到攻击记录，清理URL；对攻击日志数据进行用户识别并区分人为攻击和漏洞扫描器的攻击；分别进行会话识别，得到人为攻击的序列数据库和漏洞扫描器的序列数据库；将字符串数据库转换为数字数据库，并且使用序列模式挖掘方法分别挖掘序列数据库的频繁序列；将挖掘得到的频繁序列最大化并将序列模式转化为可视化的图形语言。其流程如图1所示。该方法能够实现攻击模式的可视化以及探索漏洞扫描器内部的扫描序列。

技术领域

本发明涉及Web安全领域的数据挖掘，特别是涉及一种对攻击行为的挖掘。具体涉及通过对Web日志的挖掘，发现网络攻击者的攻击序列模式的方法。

背景技术

作为互联网上最重要的应用之一，Web提供了便捷的文档发布与获取机制，并逐渐成为各类信息资源的聚集地。信息的丰富性和多样性诱惑着黑客，导致对Web应用的攻击越来越频繁，尤其是针对Web服务器的攻击。这种攻击不仅种类繁多，而且危害巨大，有时会导致公司用户信息泄露，更甚者会致使服务器瘫痪。常见的Web应用漏洞有SQL注入、跨站脚本攻击、目录遍历、文件包含、命令执行等。其中SQL注入是发生在应用程序的数据库层面上的漏洞，被广泛用于非法获取网站的控制权，该漏洞的存在会导致网站被嵌入恶意性代码、植入后门程序，严重时甚至会破坏硬盘数据，导致系统瘫痪。而在跨站脚本攻击中，伪造的URL被作为诱饵，诱导用户点击。用户点击被篡改的URL后，恶意的脚本将会在受害者的浏览器中执行。该漏洞主要被用于窃取密码、钓鱼欺骗、传播恶意代码等。因此对Web应用程序漏洞的利用，是获取公司内部信息的最便捷的路径之一。

Web日志记录了服务器接受和处理请求以及运行时错误的各种原始信息。当用户对服务器发送请求时，服务器的访问日志文件就会记录该请求的详细信息。攻击者如果想要利用某个漏洞，需要通过向服务器发送请求，根据服务器的响应来攻击，因此攻击者的入侵行为也会被记录到Web日志中。在服务器的日常运营和安全应急响应过程中，管理员需要从安全的角度对日志进行分析。在攻击发生后通过对近几天的日志分析，跟踪攻击者，并还原攻击过程。通常是利用grep等文本搜索命令来完成对日志文件某个关键字的搜索，从中发现异常行为，然后对这些存在异常行为的日志进行人为分析。然而这种手动检查的方法既费时又费力。另一种方法是使用自动化工具，可以实现对日志的高效搜索、可视化分析等操作。但是这些分析工具仅仅是对日志做一些简单的统计，比如统计网页点阅数和访问量，而不是日志进行深入的数据分析。此时就需要使用数据挖掘技术对日志数据进行分析，该技术被称为Web使用挖掘(Web Usage Mining)。

Web使用挖掘是Web数据挖掘的一部分，挖掘的数据主要来源于服务器的日志，能够实现对日志数据的深入分析。其基本工作流程主要分为三个阶段：数据收集和预处理，模式发现，模式分析。在Web安全领域，Web数据挖掘的应用并不常见，但是对日志中攻击数据进行挖掘，有利于帮助管理员发现漏洞，保护网站。通过对日志中攻击数据的分析，可以比较轻易的知道攻击者感兴趣的地方，以及市面上是否出现了1day攻击的大规模利用。

发明内容

本发明针对目前对网络攻击行为分析的迫切性，结合数据挖掘算法，对攻击者攻击网站的序列进行模式挖掘。一方面可以探索漏洞扫描器内部的扫描路径；另一方面从网站安全角度来考虑，有助于帮助管理员发现和分析攻击者的攻击行为。本发明提供了一种探索攻击者攻击行为的方法，所叙述方法步骤如图1，包括：

1.数据收集阶段

首先，在预处理之前需要收集针对各种网络漏洞进行攻击的特征码，以此来作为匹配攻击的依据。攻击特征码是指在发送请求时包含在URL中的能够对某种特定的漏洞进行利用的特征字符串。将收集到的攻击特征码与其对应攻击类型存储到特定的文件中作为漏洞特征库，格式如图2所示。