[发明专利]基于Apriori算法的安全日志分析方法

说明书

技术领域

本发明涉及一种针对安全日志的分析方法，将Apriori算法应用到安全日志的分析，能实现从大量不同类型的安全日志中分析出具有关联特性的安全日志，属于信息技术领域。

背景技术

目前，计算机网络往往部署了多种网络安全产品，如防火墙、入侵检测设备、防病毒产品、安全审计产品等，来保障网络系统的安全。这些安全产品会产生大量安全日志，日志服务器虽然能够通过采用日志文件、主动轮询、远程探测、被动接收、嵌入式Agent等多种方式对安全设备产生的日志进行收集和统一管理，但不同安全产品产生的日志各不相同，即使是同一个安全事件引发各安全产品产生各不相同的日志，包括日志格式不同、事件级别和类型不同、事件信息内容不同，因此每个安全产品都会产生大量的安全日志，这为安全管理员的安全分析代理很多的工作量。其中很多安全事件或日志都是由相同的安全攻击行为产生的，它们之间存在内在的关联性，如果能对各安全产品产生的安全事件进行关联分析，将具有关联性的安全日志归并到一起，就能大大减轻安全事件分析的工作量，提高安全事件处置和响应的效率。尽管目前日志服务器能够实现各种安全日志的管理，但主要侧重于日志的统一采集、存储、查询和统计，日志的分析能力比较弱，尤其缺乏各安全日志之间的关联分析，无法将同一安全事件引发的多条日志进行有效关联分析。由于各安全产品每天产生大量的日志记录，日志量非常庞大，管理员关注的信息往往淹没在大量普通的信息中。Apriori算法是挖掘产生布尔关联规则所需频繁项集的基本算法，它利用了一个层次顺序搜索的循环方法来完成频繁项集的挖掘工作。这一循环方法就是利用k-项集来产生(k+1)-项集。具体做法就是：首先找出频繁1-项集，记为L₁；然后利用L₁来挖掘L₂，即频繁2-项集；不断如此循环下去直到无法发现更多的频繁k-项集为止。Apriori算法利用了一个重要性质，又称为Apriori性质（一个频繁项集中任一子集也应是频繁项集）来帮助有效缩小频繁项集的搜索空间。利用L_k-1来获得L_k主要包含连接和删除两个处理步骤：1）连接：设l₁和l₂为L_k-1中的两个项集，l_i[j]表示l_i中的第j个项。假设数据库记录中各项均已按字典排序。如果(l₁[1]= l₂[1])∧…∧(l₁[k-2]= l₂[k-2]) ∧(l₁[k-1]<l₂[k-1])，则L_k-1中l₁和l₂就可以连接到一起获得L_k的候选集合C_k。2）删除：C_k是L_k的一个超集，C_k中所有频度不小于最小支持频度的候选项集就是属于L_k的频繁k-项集。在找到所有的频繁项集后，就可以较为容易获得相应的关联规则。可以利用下面的条件概率计算公式来计算所获关联规则的信任度：

其中，supp_num(X∪Y)为包含项集X∪Y的记录数目，supp_num(X)为包含项集X的记录数目。具体产生关联规则的操作如下：

对于每个频繁项集l的非空子集s，若

则产生一个关联规则“s ? (l-s)”，其中min_conf为设定的最小信任度阈值。

如果将所有日志安全合规性事件设为一个集合，每个日志安全合规性事件均为一个布尔值（真/假）的变量以描述该日志安全合规性事件是否在某类日志（操作系统日志、应用系统日志、安全设备日志）产生，那么检测模型针对某类日志产生的每个日志安全合规性事件都能用一个布尔向量来表示，分析相应的布尔向量就可以获得哪些日志安全合规性事件是关联发生的。找到诸如某个日志文件的记录是否在一定信任度上伴随着另一个日志文件的记录等关联规则，可以发现用户各类行为之间的关联性。

发明内容

    本发明的目的在于克服日志服务器中安全日志关联分析技术中的不足，提出一种基于Apriori算法的安全日志关联分析方法，从大量的安全日志信息中，找出具有关联性的日志记录，从而分析出异常的网络访问行为，有效提高对安全日志信息的挖掘和利用能力，为安全管理系统和网络监控分析系统提供有利的技术支持。