[发明专利]一种基于壳向量式SVM增量学习模型的流量实时分类方法

说明书

本发明公开了一种基于壳向量式SVM增量学习模型的流量实时分类方法，该方法利用对称不确定性的FCBF算法删除高维训练集的冗余特征和不相关特征，然后线性叠加PCA算法进行降维处理得到新的训练集，再以此训练SVM模型，进而实现网络流量分类；实现增量学习过程中，对实时网络流量采用相同数据预处理，再将违反KKT条件的新样本数据和壳向量的并集作为新训练集重新训练SVM模型，从而实现SVM的增量学习。

技术领域

本发明涉及大规模数据背景下，基于SVM的网络流量实时在线分类的 增量学习算法。

背景技术

网络流量分类的实现是运行和优化各种网络资源的重要基础，在网络资 源管理、入侵检测等方面发挥重要作用。在网络流量识别研究中分类技术主 要经历了三个阶段：基于固定端口号的流量分类阶段、基于深度包流量检测 (Deep Packet Inspection,DPI)分类阶段和基于机器学习的流量分类阶段。随着 动态端口技术和伪装端口技术的出现，给基于固定端口的流量分类系统带来 了严峻挑战。为解决基于端口的流量分类技术存在的不足，Yang等人使用 DPI流量分类技术，即以透视的形式深度检查数据包是否携带目标流量类型 的特征码，从而实现对网络流量的分类识别。然而基于DPI的流量分类是以 分组数据信息可见性及荷载目标特征已知为前提的，因此不适用于加密流量 和未知特征码的网络流量。基于固定端口、DPI的流量分类技术本质上可以 理解专家系统，即通过人为的制定规则来实现对网络流量的匹配和识别,不具 备智能识别、分类能力。近年来，随着人工智能的兴起，机器学习作为人工 智能的主要实现方式，越来越多的机器学习技术被应用到网络流量分类当中。

基于机器学习的网络流量分类技术是对各网络流量统计信息进行计算， 利用相关算法对数据包进行识别，进而对相应的网络流量进行分类。机器学 习方法主要分为有监督学习和无监督学习。无监督学习是指根据样本间的相 似特性对训练集中的样本进行聚类来设计分类器，例如K均值聚类，最大期 望算法等。然而在无监督网络流量分类中，利用聚类结果构造未知类别的流 量是困难的。有监督学习是指在已知网络流量类别的基础上来构造分类器， 其主要算法有SVM,贝叶斯网络(Bayesian Networks),K-近邻(K-NearestNeighbor,KNN)等。以上典型的监督学习算法中，Bayesian、KNN等容易陷 入局部最优解，而SVM基于结构风险最小化原则可以将原问题转化为凸二 次规划问题，进而求得全局最优解，并且核函数的引入，SVM将现有维度线 性不可分问题转化为高维度线性可分问题，从而实现对非线性数据的分类。 Wang等人将Lasso特征选择算法应用到网络流异常检测中，以降低特征维度 的方式加快模型的训练和网络流量的分类。萧平等人提出一种基于遗忘因子 T的SVM增量学习算法。

在二分类问题中，假设训练样本集为(x_i,y_i)，i＝1,2,..,N, y_i∈{-1,1}，分类目标是根据训练样本构造最优分离超平面，使得训练集可以 被该超平面分离且离超平面最近的向量，即支持向量，到超平面的距离最大。 分类决策函数形式如(1)所示,得到线性可分支持向量机。

f(x)＝sign(w^*·x+b) (1)

为最大化几何间隔且引入松弛变量ξ>0，化简后可得到形如(2)所示的软 间隔支持向量机，在约束条件下求解最小w，进而得到相应最优决策函数。

其中，C为惩罚参数，C越大表示对误分类的惩罚越大。

通过拉格朗日乘子法和Wolfe对偶定义，原始问题的对偶问题是极大极 小问题，即把在约束条件下求解最小w的原问题转化为求解最大α_i的对偶问 题，对偶问题如式(3)所示。

其中，α_i是Lagrange乘子。