[发明专利]基于LOF和孤立森林的访问流量异常检测方法及设备

说明书

本发明公开了一种基于LOF和孤立森林的访问流量异常检测方法及设备，其中检测方法包括：流量预处理：对访问流量数据进行预处理得到流量数据集，所述预处理包括流量提取、流量清洗和流量规格化；机器学习模型训练：将所述流量数据集作为模型输入进行机器学习训练，分别使用局部离群因子LOF检测算法和孤立森林算法进行多次迭代训练，得到训练好的两组共N个异常检测模型并保存；联合智能分析：使用步骤2训练好的两组所述异常检测模型进行目标流量检测，利用装袋Bagging算法进行结果筛选。本发明利用局部离群因子LOF检测算法联合孤立森林进行联合分析，对收集到的访问流量类别进行异常检测，判断流量是否异常，保证系统的安全性。

技术领域

本发明涉及流量异常检测技术领域，尤其涉及一种基于LOF和孤立森林的访问流量异常检测方法及设备。

背景技术

互联网在社会生活的各个领域发挥着重要作用，但也面临着自身开放性和复杂性所带来的安全风险。黑客可以利用木马、僵尸网络等技术操纵数万甚至上百万台被入侵的计算机，释放恶意代码、发送垃圾邮件，并实施分布式拒绝服务攻击，来进行攻击和入侵。对访问流量进行异常检测，对及时发现网络异常和保证网络正常运行具有重要意义。目前主要的流量异常检测技术包括基于信息理论的异常检测技术、基于统计的异常检测技术、基于分类的异常检测技术和基于聚类的异常检测技术。

基于信息理论的异常检测技术，通过不同的信息理论来分析流量数据特征的内容，主要依据是异常会引起数据信息内容规则发生变化，通过定位该变化来确认是否存在异常。思路如下：若O(D)代表一个给定数据集D的复杂度，信息理论技术的目标是找到D最小的子集I，使O(D)-O(D-I)最大，I中所有的数据实例就为异常。数据集复杂度可以有不同的信息理论测度，包括熵、复杂度等。基于信息理论的异常检测技术需要一个严谨的信息论方法进行异常检测，并且效果的好坏取决于评价方法，难以对一条测试数据得到异常的程度。

基于统计的异常检测技术，是基于数据的经验分布进行异常检测，简单来说，就是根据所选数据选取符合统计的分布模型，然后对待测试数据进行判断，正常的数据实例出现在随机模型的高概率区域，而异常则出现在随机模型的低概率区域。基于统计的异常检测技术又可以分为参数化方法和非参数化方法，参数化方法的典型代表有基于高斯模型和回归模型的异常检测方法；非参数方法包括基于直方图、基于核函数核基于密度估计技术的异常检测技术。基于统计的异常检测技术，根据数据分布来判断异常点，需要保证对数据的分布假设成立，条件较为苛刻，需要大量调参并且不适用于有上下文的异常场景。

基于分类的异常检测技术，是一种利用给定的标注数据进行训练，获得一个能够区分正常数据和异常数据的分类器，再用得到的分类器来检测待测试的数据。基于分类的异常检测技术通常基于机器学习的方法，如神经网络方法、贝叶斯网络方法、支持向量机方法和基于规则方法等，并且根据标签的种类又可以将分类问题分为单分类和多分类问题。基于分类的异常检测技术通过对标记样本建立分类模型进行异常检测，一般为监督或半监督方法，给定的数据需要有类别标签，对于未搜集到的正常样本容易产生误报。

基于聚类的异常检测技术，假设远离正常样本的数据为异常样本(基于距离)，稀疏的样本为异常样本(基于密度)。聚类技术可以分为非监督学习方法和半监督学习方法。非监督学习方法对样本进行聚类，设定邻域半径，离样本中心大于邻域半径的点认为是异常点。半监督学习方法运用正常样本点进行建模，如果样本点不属于建模类别即为异常点。基于聚类的异常检测技术主要用于聚类，并不是主要用来异常检测，需要在聚类的基础上对异常数据贴上异常的标签，并且计算密集和计算复杂度较高，在正常样本类别数据稀疏时并不适用。