[发明专利]一种有监督判别流形学习的Netflow数据降维方法

说明书

本发明属于数据处理领域，公开一种有监督判别流形学习的Netflow数据降维方法，步骤(1)：获取来自局域网路由器的Netflow数据包并存入数据库；步骤(2)：建立Netflow数据矩阵X＝[y₁,y₂,...,y_n]；步骤(3)：建立近邻矩阵H_ij，结合近邻矩阵H_ij的近邻关系，构造有监督判别矩阵S_ij；步骤(4)：计算局部散度矩阵S_L与全局散度矩阵S_N；建立约束目标函数模型J(A)，利用约束目标函数模型J(A)寻找一个同时具有最大全局散度矩阵和最小局部散度矩阵的低维投影子空间；步骤(5)：特征分解：根据约束目标函数模型J(A)，特征分解求得约束目标函数的解，并取前r个特征值所对应的的特征向量组成线性投影矩阵得到高维网络数据在低维空间的投影。本发明有效降低了输入样本的维度，降低Netflow数据量的大小减小了运算量。

技术领域

本发明属于数据处理领域，尤其涉及一种有监督判别流形学习的Netflow数据降维方法。

背景技术

NetFlow是一种网络监测功能，可以收集进入及离开网络界面的IP封包的数量及资讯，最早由思科公司研发，应用在路由器及交换器等产品上。经由分析Netflow收集到的资讯，网络管理人员可以知道封包的来源及目的地，网络服务的种类，以及造成网络壅塞的原因。

随着系统的升级与漏洞的修补，入侵主机进而进行破坏的病毒攻击方式在攻击中所占比例逐渐减少，这些攻击转而改为恶意的消耗网络有限的资源或占用系统，进而破坏系统对外提供服务的能力；但传统的系统升级无法检测并预防此类攻击。针对此类攻击，业界提出了以检测网络数据流的方法来判断网络异常和攻击：借助实时的检测网络数据流信息，通过与历史记录模式匹配、或者与异常模式匹配，让网络管理人员可以实时查看全网的状态，检测网络性能可能出现的瓶颈，并进行自动处理或告警显示，以保证网络高效、可靠地运转。

Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能像tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。Netflow由Cisco创造。一个Netflow系统包括三个主要部分：探测器，采集器，报告系统。探测器是用来监听网络数据的。采集器是用来收集探测器传来的数据的。报告系统是用来从采集器收集到的数据产生易读的报告的。

随着网络用户对网络服务质量要求的提高，网络安全分析所需要收集和统计的Netflow数据也越来越多。这些数据体现了网络的工作情况与性能，如何分析与处理这些Netflow数据，对于提高网络的安全、服务质量有着非常重大的意义。而Netflow数据由于其内部结构复杂，形成高维空间数据结构，存在维数灾难问题，从而对原始高维Netflow数据进行分析处理时，会有巨大的计算量，降低分析处理的效率，因而需要对Netflow数据进行降维处理。

为了更好地理解和处理这些高维复杂的网络数据，数据降维技术被广泛应用。数据降维的目的是找出高维数据中隐藏的低维结构，即将原始高维空间映射到低维空间中,可以为后续分析降低时间复杂度。而流形学习是近年才发展起来的一类新的非线性维数约简方法。通过流形学习方法建立高维-低维映射模型，能更加合理地显示高维数据集的内在结构。将流形学习算法运用在Netflow数据处理中，在非线性降维的同时保持原样本空间的分布特性，提高Netflow数据分析效率。

综上所述，由于Netflow数据的高维特性，在例如异常检测等的网络安全问题的分析处理中，会有较高的计算规模，可能导致比较低的分析效率，因此，本发明提出了一种有监督判别流形学习的Netflow数据降维方法，在考虑类别信息的基础上，通过最大化表征全局几何结构的全局散度矩阵和最小化表征局部几何结构的局部散度矩阵来寻找最佳投影子空间，更多挖掘高维数据的几何结构信息。

发明内容