[发明专利]一种基于主动学习的网络数据异常检测方法

说明书

技术领域

本发明涉及基于支持向量机的检测方法。

背景技术

计算机互联网的快速发展给人类社会带来了巨大的变化。但由于网络的开放性、复杂性、信息共享、以及网络协议设计中存在的安全缺陷等原因，计算机网络的发展面临着严峻的安全威胁。网络安全体系的构建不论从理论上还是从应用上，都成为了计算机网络领域的研究重点。入侵检测技术是针对计算机和网络信息资源的恶意行为的识别和响应，它不仅可以检测自外部的入侵行为，同时也能够指出内部合法用户的未授权的活动。入侵检测技术是实现网络安全中主动防御环节的主要技术手段。当检测出入侵行为后，入侵检测系统会通过响应模块改变系统的防护措施，提高系统的防火能力，从而达到主动防御的目标。入侵检测技术主要可以分为异常检测和误用检测两类，其中，异常检测方法由于能够检测出未知的攻击，因此成为目前入侵家侧系统研究的热点。

支持向量机(Support Vector Machine，SVM)是Vapnik等人在统计学习理论的基础上发展出的一种新的模式识别方法，是一种能在训练样本数很少的情况下达到较好分类推广能力的学习算法，在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势，同时具有很好的分类精度和泛化能力。目前支持向量机技术在网络数据的异常检测应用中有了很大的进步，但仍然存在一些因素制约着SVM的广泛应用，比如大规模样本集的训练导致系统资源占用过多(计算复杂度和空间复杂度高)。近年来人们根据支持向量机本身的特点，如解得稀疏性、优化问题的凸性等，设计了许多方法来解决对偶寻优问题，比如SMO方法，分快法等。但是这些方法都不能直接减少参与训练的样本总数，因而实际使用中训练算法的复杂度仍然很高，对于大样本情况下仍然难有较好的表现。另外，在实际的网络异常检测应用中，足够的训练数据能够使入侵检测系统获得更好的检测性能，但搜索网络攻击数据并对其进行类别标注用于构建训练集，是一件困难且人力和物力耗费相当大的工作，需要安全技术领域专家的参与。因此，对基于支持向量机的入侵检测系统而言，如何保证在具有良好分类特性的同时，有效的减少所需的训练样本数，并为一个研究的重点问题。

发明内容

本发明为了解决现有在网络数据的异常检测方法中支持向量机方法中所存在的训练样本多、复杂度高、难以有良好分类特性的问题，而提出了一种基于主动学习的网络数据异常检测方法。

本发明的一种基于主动学习的网络数据异常检测方法的步骤如下：

步骤一：在候选未标注样本集A的未标注样本中选择C个点作为候选聚类中心，将候选未标注样本集A进行迭代优化聚类运算，选取叠代聚类结果中的代表性样本构建训练样本集B；

步骤二：支持向量机在上述构建的训练样本集B上训练得到训练超平面；

步骤三：根据样本选择准则从候选未标注样本集A中选择最能提升分类性能的样本，标注类别后加入训练样本集B中；

步骤四：支持向量机在更新后的训练样本集B上重新训练；

步骤五：若检测精度达到设定值，则结束，否则返回步骤三。

通过对传统SVM基础理论的分析，可知SVM训练得到的分类器，只和分类超平面上支持向量(SV)所对应的训练样本有关，支持向量包含了分类器所需的信息，与其他样本无关，也就是说离分类超平面越近的样本最能影响分类器(分类超平面)，而离分类超平面距离越远的样本对分类器的影响不是很大。因此，采取主动学习思想的询问机制为：每次只需要把距离分类超平面最近的未标记的样本，加入到训练样本集中，进行训练。采用这种策略，每次选择进行学习的样本部是不确定性最大的样本，它对分类器的影响也是最大。

将基于支持向量机的主动学习算法应用于异常检测研究中，能够有效地降低学习样本的复杂度。针对支持向量机的主动学习算法中存在的随机构造的初始训练样本质量不高和容易陷入次优等问题，本文提出了一种结合迭代优化聚类(ISODATA)的初始训练集构建方法，同时，在距离准则的基础上，提出了相应的主动学习算法的系统构架。该算法所需的学习样本更少，该系统构架提供了完备的主动学习模型。

附图说明

图1是本发明的流程示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，在主动学习方式下，训练样本是根据学习进程主动选择的，其学习过程为：初始化阶段和循环学习阶段，具体步骤如下：

候选未标注样本集A，训练样本集B，初始训练集样本数N，当前训练样本数n。