[发明专利]一种网络异常流量的检测方法及系统

说明书

本发明公开了一种网络异常流量的检测方法及系统，所述方法包括：步骤1)获取流量数据并抽取流量特征，构建数据集；步骤2)对步骤1)的数据集进行粗聚类，将数据集划分为若干个聚类；步骤3)将聚类的样本数小于阈值的聚类中样本划分为全局离群点，确定为网络异常流量，对于聚类的样本数不小于阈值的聚类，使用孤立森林算法对该聚类进行检测，如果某个聚类的样本为局部离群点，则确定为网络异常流量。本发明的网络异常流量的检测方法具有快速，全面和有效的优点。

技术领域

本发明涉及网络信息安全领域，特别涉及一种网络异常流量的检测方法及系统。

背景技术

随着网络技术高速发展，互联网应用爆发式增长，同时伴随移动互联网逐渐成熟，网络环境也渐趋复杂。快速增长的网络流量中包含了大量对用户有害的网络入侵行为，给网络服务质量(QoS)以及网络安全带来巨大压力。常见的入侵检测系统主要包含特征检测和异常检测，异常检测通过分析网络流量相关数据来判断系统中是否含有对网络安全有害的异常行为，设计高精确度的网络异常流量检测模型逐渐成为研究热点。

目前的网络异常流量检测方法主要分为基于统计与数据分布的方法、有监督学习和无监督学习判别方法。

基于统计与数据分布：一般需要建立模型来刻画流量，假设正常流量服从特定的概率分布。使用阈值基线，超出阈值就判定为异常，例如使用流量数据的熵量。

有监督学习的方法：需要给定带有正常和异常标签的流量数据，但是异常流量的种类繁多，需要一套定义良好的数据集以提取其中的流量特征。在离线网络环境中，有监督学习所训练的分类器具有较好的检测能力，然而在复杂的动态网络环境中，由于缺乏定义良好的训练数据，上述模型难以分辨当前未知的、复杂的攻击模式，较难训练出可以有效区分正常和异常流量数据的分类器。

无监督学习的方法：假定正常的网络具有一套正常的行为模式，偏离基线的网络流量属于异常流量，通过侦测离群点来检测异常网络流量。网络流量通过属性特征的量化，可以将流量映射到特征空间，研究表明正常流量与异常流量在特征空间中的分布存在明显差异。一些方法基于特征空间中的距离与密度，例如使用局部异常因子算法来判断离群点，但局部异常因子算法需要大量计算数据点两两之间的距离，复杂度较高。在特征空间使用基于划分的孤立森林算法可以快速并且有效地侦测离群点，以检测偏离当前网络行为的异常流量，其复杂度低于局部异常因子算法，并且可以应用于分布式计算场景。

发明内容

本发明的目的在于克服现有技术中的不足：已有的基于有监督学习的异常网络流量识别方法在动态网络环境中对变异以及未定义攻击模式难以识别，使用孤立森林算法可以快速并有效地检测离群点，以确定异常网络流量。但单独使用孤立森林算法对局部离群点难以检测。

为了实现上述目的，本发明提供了一种网络异常流量的检测方法，所述方法包括：

步骤1)获取流量数据并抽取流量特征，构建数据集；

步骤2)对步骤1)的数据集进行粗聚类，将数据集划分为若干个聚类；

步骤3)将聚类的样本数小于阈值的聚类中样本划分为全局离群点，确定为异常流量，对于聚类的样本数不小于阈值的聚类，使用孤立森林算法对该聚类进行检测，如果某个聚类的样本为局部离群点，则确定为异常流量。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤1-1)从网络中截取数据流量包，将一系列具有相同源地址、目的地址、源端口、目的端口和协议的数据汇聚为一个数据流，数据包汇聚为双向流；