[发明专利]一种基于神经网络的低幅值网络流量异常检测方法

说明书

技术领域

本发明涉及一种网络流量异常检测方法，尤其涉及一种基于神经网络的低幅值网络流量异常检测方法。

背景技术

网络中的异常行为，如设备故障、链路或节点错误、突发访问，以及一些由恶意原因引起的诸如DDoS攻击和蠕虫传播的异常行为，都会导致网络性能下降，甚至导致网络不可用。这些异常具有分布式特征，即同时存在于多条链路中，形成分布式的流量异常；并且异常流量从单条链路上来看，可能极其隐蔽，并不表现出显著的异常特征。对于网络管理人员来说，及时有效地检测并响应处理这些低幅值的隐蔽流量异常十分困难。

现有的网络流量异常检测方法包括链路流量记录和OD流流量记录。

(1)链路流量记录是一种高聚集程度的统计，包含了经过该链路所有OD流流量的叠加，可用于网络元素错误引起的异常流量诊断，这些事件通常对链路流量具有明显影响，造成链路幅值陡然上升或下降，然而对于一些造成低幅值网络流量异常的网络级别异常事件来说，链路流量的分析是不够的。

(2)与链路流量记录相比，由于OD流呈现出端到端流量本质特征且聚集程度更低，OD流流量记录是一种低聚集程度的统计，每条OD流对应网络中的一条路径，选择性地挑选某些OD流子集进行分析，能更符合异常发生的现实情况：如设备节点发生故障时，经过该节点的多条OD流都会有所影响；DDoS攻击发生时，所有指向受害者的OD流上都具有相似特征的攻击流量，这些同时发生在多条OD流上的潜在相似异常特征，可能引起他们之间的相关性，即一种OD流级别的特征参数，较正常情况下产生改变。由此所述OD流更利于检测低幅值网络流量的异常。但是，OD流流量是无法直接测量得到的，一般由两种方式获得，一种是由netflow取得的流级别数据结合路由协议分析得到，该方式通常不能用于实时在线检测过程中；另一种是由直接测量的链路数据通过反演方式得到，然而各种反演技术存在严重的欠定性问题，所述欠定性问题虽然可以通过引入先验信息或对OD流建立模型来克服，但流量异常发生时与正常情况下的先验信息不符，或者很难找到某种确定的数学模型对OD流进行建模，使得OD流反演结果并不准确，进而直接影响基于OD反演结果的检测步骤。

发明内容

本发明目的在于提供一种可以有效避免OD流反演误差给检测步骤带来的影响且可提供下一时刻OD流相关性预测的基于神经网络的低幅值网络流量异常检测方法。

为实现上述目的，本发明中的神经网络模块包括第二和第一多层递归神经网络，所述第二多层递归神经网络的输入为可直接测量得到的链路流量，输出为部分OD流估计流量；所述第一多层递归神经网络的输入为所述链路流量和作为补充约束输入的部分OD流估计流量，输出为特征参数的估计值。

进一步的，所述基于神经网络的低幅值网络流量异常检测方法包括以下步骤：

11)准备第二多层递归神经网络的训练样本，训练第二多层递归神经网络的输入样本为链路流量样本，由所述链路流量样本得到链路节点间的OD流流量，所述第二多层递归神经网络的输出样本为从所述OD流流量中选择出的OD流子集；

12)准备第一多层递归神经网络的训练样本，训练第一多层递归神经网络的输入样本为所述链路流量样本和所述OD流子集，所述第一多层递归神经网络的输出样本为特征参数样本；

13)根据第一与第二多层递归神经网络的训练样本分别训练所述第一和第二多层递归神经网络的权值；

14)将实际网络的链路流量输入至训练完成后的所述神经网络模块内，所述神经网络模块的输出值为特征参数的估计值，根据所述特征参数的估计值判断所述实际网络的链路流量的状态。

进一步的，所述OD流子集的选择方法包括，第一种选择方法，所述第一种选择方法针对多源到单目的地的特征，所述OD流子集包括指向该节点的多条OD流；第二种选择方法，所述第二种选择方法针对单源到多目的的特征，所述OD流子集包括由同一源节点发出的多条OD流；以及，第三种选择方法，所述第三种选择方法为针对链路或节点存在错误的特征，所述OD流子集包括经过同一节点或链路的多条OD流。

进一步的，所述特征参数样本为多条OD流变化特征相关系数，所述多条OD流变化特征相关系数满足公式其中a表示当前采样时刻，coff(i，j，a)表示第i个和第j个OD流变化特征相关系数，m为OD流两两组合且i≠j时coff(i，j，a)的数目。