[发明专利]一种DDoS检测方法

说明书

技术领域

本发明涉及网络入侵检测领域，尤其涉及一种DDoS检测方法。

背景技术

网络入侵检测是企业、园区网重要的安全防护点。基于入侵检测系统，可以有效地识 别网络攻击，从而保护企业、园区网内安全。然而，近些年来，有效的网络入侵检测已越 来越困难，主要原因在于网络带宽不断增长，实时检测巨量的数据存在性能瓶颈。现有的 主流产品，一类是Suricata和Snort，采用多线程来提高性能，但它们是基于经典的流签 名，并不具有灵活的可编程规则；另一类是Bro，具有Turing-Complete(图灵完备性)脚本 语言，可灵活定制规则，但它目前还是单线程的。CCS2014会议上，来自Wisconsin大学 和Berkeley大学研究者设计了一种全新并发的入侵检测模型：即能够具有 Turing-Complete(图灵完备性)脚本语言的灵活规则制定，又具有并行的高性能。这种高 并发性，不仅是雇佣了底层的并发性，也在应用层采用了并发性，而突破应用层多线程的 锁的性能限制，其原理是利用SCOPE粒度划分进入流，依据是程序分割(program slicing) 技术。

基于流采样的异常检测方法有许多种，有通过截取异常数据包来研究异常网络流的特 征来研究的，也有利用波形过滤器来研究对网络异常信号进行分析，方法多种多样。

目前DDoS的检测，主要是通过观测一定时间内测量值的变化而进行推断。Haraldsson， Emil通过对Port数、TCP连接数等统计信息来发现异常攻击，但属于一种较大时延的检 测。之后的研究开始进行时间窗口划分，并基于一定的测度来发现DDoS行为。通过利用 这些测度，技术人员提出相应的方法有效的检测DDoS Flooding攻击，做到检测时延小， 实时性效果好或者是对低速DDoS检测很有效。

而当前DDoS也呈现了一些新的变化，在CCS2015会议上，来自德克萨斯州大学奥斯汀 分校的研究团队提出了二阶拒绝服务攻击(Second-Order DoS)漏洞的发现和利用。二阶DoS 攻击定义为：(1)第一阶段是用junk entries(垃圾输入)的方法填充污染数据库，(2)第二 阶段是基于污染数据库上面的这些junk entries执行高代价操作以耗尽资源。另外在 SP2015会议上，Ryan Rasti等提出了一种新颖的DoS攻击方式：时间透镜脉冲DoS攻击。 这种攻击优点在于能够使攻击者能以低开销产生精准的协同攻击，造成受害者得到脉冲式 瞬间高流量攻击。

发明内容

本发明的目的在于：有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何 有效检测当前发射放大型攻击，并且降低DDoS检测时延的问题。

本发明采用的技术方案如下：

一种DDoS检测方法，包括以下步骤：

步骤1、通过Apache Kafka进行实时多源的NetFlow/IPFix数据采集；

步骤2、通过Spark Streaming进行实时低延迟的DDoS检测；

步骤3、通过Spark Streaming输出DDoS攻击数据到MemSQL；

步骤4、通过Spark Streaming输出统计和报告；

其中，Spark Streaming被配置为同时支持多个测度因子，且每个所述测度因子都有自己的阈 值用于预警DDoS，每个所述测度因子的所述阈值被配置为通过机器学习进行反馈调整。

具体地，所述测度因子是RDD结构上的一个函数F(RDD)，所述RDD结构是针对netflow流建 立的时间片。

具体地，所述Spark Streaming被配置为根据测度因子按需分割时间序列的时间粒度以及需求 长度。

具体地，所述时间粒度和需求长度为固定值。

具体地，所述阈值的判断包括以下步骤：

步骤5.1、通过当前输出序列以及人工判定的正确与否进行新的阈值预测；

步骤5.2、在每一次误判后，将根据之前超前值序列学习的统计分析以及当前序列值进行动态 调整。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.可扩展的云端检测框架；

2.基于Spark Streaming的实时低时延检测；

3.能够适应性检测当前新浮现的DDoS攻击类型；

4.有效检测当前反射放大型攻击。

具体实施方式