[发明专利]一种基于对称度Sketch的网络流量异常检测与定位方法

说明书

本发明公开了一种基于对称度Sketch的网络流量异常检测与定位方法，提出采用连接对称度来实现异常行为的检测，其检测粒度和精度都要高于传统的基于流量特征统计的方法；本发明提出了连接对称度的计算方法‑连接度sketch，将IP地址按照其结构特征分为四段，每一段采用相应的hash函数组进行映射，不但有效的降低了hash表的长度，也有效的降低了冲突发生的概率，获得比较精确的主机连接对称度；接着提出了根据流量自身特征的分布情况获取阈值的方法，所获得的阈值根据网络流量特征实时变化，能够较为精准的捕获到异常行为的特征，获得较好的检测效果；最后，通过设计sketch的核心hash函数组，利用中国余数定理，实现异常源的解析求解，并且求解过程简单高效，结果准确。

技术领域

本发明属于数据流分析处理技术领域，涉及一种基于对称度Sketch的网络流量异常检测与定位方法。

背景技术

随着计算机网络技术的发展和应用，网络带宽和网络流量快速增长，海量的网络流量数据给大规模网络的实时有效测量和监控带来了巨大挑战。网络的实时有效测量对网络管理、流量规划、网络计费有重要意义，例如网络运营商需要统计网络带宽的使用情况或者流量的统计信息来进行计费，网络管理者需要根据流量统计信息更新路由器的路由表，以及通过对网络流量的有效分析来及时发现和处理网络异常事件。为此大规模网络流量的实时测量和监控系统在性能上需要满足下面三个基本的要求：

1)高效的处理速度，对于每个数据包的处理必须高效快速。

2)较小的内存需求。

3)快速而且准确的数据查询。

异常检测主要分为两类：基于特征的检测和基于统计的检测。基于特征的检测主要是通过寻找能与已知异常特征相匹配的模式来检测异常，需要预先设定特征库或规则库。这种方法的优点是能够准确检测已知的异常，缺点是不能检测未知异常，同时随着异常种类的增多，特征库很庞大，监测性能下降。因此基于特征的异常监测只能适用于局域网，不能满足骨干链路的速率。基于统计的检测不需要预先了解异常的特征和属性，能够有效的检测已知和未知异常。在基于统计的检测方法中很重要的一部分就是变化检测，主要是通过历史流量得到一个正常的流量模型，然后通过检测在短期内不符合此模型的行为来发现异常。

网络流是网络流量测量和监控领域常用的处理技术，网络流通常的定义是具有相同五元组(协议类型，源IP，源端口，目的IP，目的端口)的所有网络数据包集合。对于基于网络流的网络流量测量和监控，如果精确的测量，则需要存储每条网络流的状态信息。对于大规模的网络流量而言，这需要巨大的内存空间，目前而言往往是无法实现的。目前硬件的处理速度已经跟不上网络流量的增长速度，同时随着网络带宽和网络流的在逐年剧增，这一差距还在不断扩大。综上可知，对大规模网络特性实时精确的测量已经是遥不可及，目前许多处理大规模网络流量的技术方法都是采用概率估计的技术方法。

数据采样是一种常用的数据处理技术，在网络流量处理领域有着广泛的应用。有关采样技术国内外都有着广泛深入的研究，提出了数据包随机采样，网络流采样，智能采样等多种采样技术。其中一些技术已经应用于实际的生产实践中了，例如Cisco路由器上的Netflow数据流信息就是经过数据包采样后的结果。由于采样的技术仅仅处理并存储极少部分数据的信息，因此所需要的存储空间相对很小，处理的效率也很高。同时采样技术的缺陷是有很多的数据包以及网络数据流的丢失，尤其是网络数据包数较少的网络流。这将给网络的测量与监控带来一系列的问题，比如Dos和DDos攻击的有效检测。