[发明专利]一种基于流式的网络异常流量检测方法

权利要求书

1.一种基于流式的网络异常流量检测方法，其特征在于实施步骤为：

(1)数据提取，包括从网络中截取流量数据、存入数据库、提取数据、设计数据框架、构造数据点集合、设置度量值和属性值六个步骤；

(2)将提取的数据进行特征转换；

(3)对转换后的数据进行分类操作，识别出网络流量数据中的异常项，使用百分位数分类器和谓词分类器两种流式分类器；

(4)对分类后的正常数据和异常数据进行分析、解释说明，使用风险比解释器。

2.根据权利要求1所述的基于流式的网络异常流量检测方法，其特征在于本方法在数据提取阶段要进行以下六个步骤：

(1)从网络中截取网络流量数据；

(2)将网络流量数据存入数据库；

(3)建立与数据库的连接，调用接口从数据库中提取数据流进行分析；

(4)对调入的数据集进行处理，设计基于列的数据框架；

(5)构造要处理的数据点集合，每个数据点包含度量和属性两部分；

(6)利用度量来检测异常流量，并利用属性来解释异常行为。

3.根据权利要求1所述的基于流式的网络异常流量检测方法，其特征在于本方法采用流式分类器对数据流进行检测、分类操作。利用适应阻尼储层算法实现基于流式的数据分析。分类器的具体实施步骤：

(1)利用百分位数分类器将网络流量中出现次数过多的数据流量识别为异常值，具体实施步骤：选择单个列作为一组度量值，对其进行百分位数计算；由指定的百分位数将每一组IP走向出现的次数值按照高、低值进行分类，计算得出一个高阈值和一个低阈值；若指定以高值为度量标准，则将超过高阈值的值设为1.0，其余值为0.0；若指定以低值为度量标准，则将低于低阈值的值设为1.0，其余值为0.0；设定高值为度量标准，如果一组IP走向出现的次数过多，则将其标记为异常值；

(2)利用谓词分类器将网络流量中某一属性与特定值相同的数据流量识别为异常值，具体实施步骤：选择单个列作为一组度量值；选择谓词，设置阈值；逐个判断数据条目的度量值，与所选谓词和阈值相匹配的数据项识别为异常值，设为1.0，不匹配的数据项识别为正常值，设为0.0；将最后将分类标识整合为一列，添加到数据框架的最后一列之后，形成一个新的数据框架，保存并在报告中显示出来；

(3)利用适应阻尼储层算法实现基于流式的数据分析，具体实施步骤：设定一个大小一定的储存器，保留插入到储存器的条目；当插入数据条目时，若储存器空间足够，那么条目增加1；当插入数据条目时，若储存器空间不足，条目以一定的比率放入储存器，并随机将已存在的条目从储存器中逐出。

4.根据权利要求1或3所述的基于流式的网络异常流量检测方法，其特征在于本方法采用解释操作对分类之后的多个网络流量数据点进行分组和汇总，分析解释各个属性组的正常和异常行为，利用风险比率来识别在异常值中相对常见的属性组合，解释操作具体实施步骤：

(1)查找分类后网络流量数据中所有异常值条目和正常值条目；

(2)查找流量数据中具有最小异常支持度的属性组合，并记录最小异常支持度；

(3)计算流量数据单个属性值的风险比，并记录最小风险比；

(4)找到满足如下条件的属性组合：其成员属性的异常支持度大于或等于最小异常支持度，风险比大于或等于最小风险比；

(5)利用(4)中的属性组合在异常值条目上构建前缀树，这里前缀树以属性递减的方式呈现；

(6)过滤掉(5)中风险比小于最小风险比的属性组合。最终得到网络流量数据每种属性组合的风险比率。