[发明专利]一种基于大数据的异常流量监测和预测方法及装置

说明书

本发明公开了一种基于大数据的异常流量监测和预测方法及装置，具体包括以下步骤：S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；本发明涉及网络安全技术领域。该基于大数据的异常流量监测和预测方法及装置，通过网络数据流量的输出端与阈值对比模块的输入端连接，阈值对比模块的输出端与单片机的输入端连接，单片机与数据库之间实现双向连接，并且单片机与数据对比模块之间实现双向连接，单片机的输出端分别与一级告警、二级告警和三级告警的输入端连接，对异常流量与计算出的阈值进行对比，根据异常流量与阈值比较后的异常程度不同，进行不同等级的告警，让工作人员可以清楚地了解到流量异常程度。

技术领域

本发明涉及网络安全技术领域，具体为一种基于大数据的异常流量监测和预测方法及装置。

背景技术

网络流量异常指网络中流量不规则的显著变化，如网络短暂拥塞、分布式拒绝服务攻击、大范围扫描等本地事件或者网络路由异常等全局事件，网络流量异常的监测和分析对网络安全应急响应部门而言非常重要，但是由于宏观流量异常监测比较困难，需要从大量高维的富含噪声的数据中提取和解释异常模式，使得对于网络异常的监测和分析仍然是一个极大的挑战。

现有IP流量分析仪采用的技术存在如下缺陷：流量分析仪采用固定阈值监测异常流量，对于具有复杂的非线性特性和随机性，且随时间、事件、用户行为等因素影响较大的软交换信令流量或语音流量，固定阈值的方法并不适用，由于软交换信令流量或语音流量并不是恒定不变的一个常数，如果采用固定阈值监测异常流量，当阈值定义范围过小会频繁产生虚警，造成维护人员不必要的工作量。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于大数据的异常流量监测和预测方法及装置，解决了采用固定阈值监测异常流量，当阈值定义范围过小会频繁产生虚警，造成维护人员不必要的工作量的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据的异常流量监测和预测方法，具体包括以下步骤：

S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；

S2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置信区间时就认为这个观测值是异常的，当滑动窗在序列中一步一步顺次向前移动时，流量观测值序列中的每个点都将被检测到，从SNMP管理信息库MIB中定时读取接口组变量:ifInOctets(B/s),ifOutOctets(B/s)及IP组变量:ipForwDatagrams(packetUs),ipInReceives(packetUs)，采用滑动窗口模型，用于接收管理信息库中最新的N(滑动窗口大小)个数据，随着数据不断到达，统计信息不断更新，窗口数据不断平移，对滑动窗口中的MIB变量，即对接口组变量和IP组变量中的4个变量进行定时采样，然后按时间顺序分别排列成一个时间序列,这样每个时间序列就是一个流量观测值序列，采样的时间尺度可以是毫秒、秒、分、小时等，最后确定自适应阈值U(t+1)和L(t+1)；

S3、对采集的网络数据流量节点进行判定，判定进流量是否等于出流量，若进流量等于出流量，则流量节点为管节点，若进流量不等于出流量，那么进一步对流量节点进行判定，若进流量小于出流量，则流量节点为云节点，若进流量不小于出流量，则流量节点为端节点；

S4、网络数据流量在经过与阈值对比模块的对比后，将信息传递给单片机，利用单片机对接收的信息通过数据对比模块对数据库中的告警划分等级进行对比，经过的等级划分对比后单片机控制一级告警、二级告警和三级告警进行告警。