[发明专利]一种迭代聚类的网络流量异常检测方法

说明书

本发明公开了一种迭代聚类的网络流量异常检测方法，包括网络流量历史数据预处理；网络流量样本数据降维；采用迭代聚类方法聚类，得到带伪标签的流量样本和检测异常网络流量四个步骤；具有能够处理大量数据、实时性强、灵活、扩展性强、鲁棒的实现实时且稳定的网络流量异常检测的特点。

技术领域

本发明属于深度学习和网络安全的交叉领域，涉及一种迭代聚类的网络流量异常检测方法。

背景技术

互联网技术在各行业的普及为人们工作生活带来极大的便利，越来越多的业务和设备需要网络的支持，但同时，网络攻击的手段及规模也在发展，造成的损失和影响也越来越大，网络安全面临巨大威胁，入侵检测是当前各公司及政府部门主要防范网络安全威胁的主要手段之一。入侵检测是一类通过主动监控流量数据以识别攻击并发出警报的网络攻击检测方法。早期的入侵检测系统主要是通过人工识别特征码，再通过特征码检测技术实现，该方法易漏报新型攻击手段，随后出现了基于行为建模的检测方法，利用数据挖掘和机器学习等手段，但当网络流量较大时，模型需要的计算量较大，无法满足当前的需求，且该类方法需要预先标记大量数据，成本较大。近年来，深度神经网络优秀的学习能力和非线性优化能力，使得其在图像识别、语音识别、机器翻译和异常检测领域成果显著，在网络流量异常检测中引入人工智能技术，采用数据驱动的方式研究网络流量异常检测方法成为重点。

目前，通过学习数据本身的特征进行网络流量异常判别逐步替代了基于手工特征的异常流量检测技术，而基于深度神经网络的方法被认为是最合适的学习数据特征表达的方法。深度学习技术能够取得巨大成功，得益于数有效数据的积累和计算能力的提升。深度学习方法按照对数据的依赖程度不同可分为三类：监督学习、半监督学习和无监督学习，顾名思义，监督学习的训练数据依赖于带标签的数据训练模型，而无监督学习的所用的数据没有标签，半监督学习则只需要少量带标签数据即可，随着标签可用率的降低，模型性能也随之下降。Al-Qatf等提出结合稀疏自编码和支持向量机的入侵检测方法，但是针对大量数据的检测，支持向量机无法满足需求。Mirsky等人和Al-Hawawreh等人都采用自编码网络进行数据的无监督学习，但模型的训练过程漫长，且对新型攻击手段的发现能力不足。Mirza等人则是考虑引入时间维度进行特征提取，并融合自编码提取的特征，实现入侵检测，时间维度的引入会影响检测的实时性。

当基于深度神经网络的网络流量异常检测方法在真实网络环境中实施时，带标签数据稀少导致性能较好的监督学习模型不能采用，无监督学习模型因其可靠性不足得不到用户的认可，而网络流量数据量巨大，计算复杂的深度网络模型无法提供实时检测的需求。且考虑到流量数据特征较多，直接参与计算，会使得计算量急剧增加，且维度高会引起聚合度降低，进一步加大了特征学习的难度。Xiao等人提出采用CNN选择流量特征，并根据异常数据量设置每个类别的损失函数权重系数，解决类别不均衡问题，但是其过度依赖数据集，应用场景受限。

综上，在当前网络流量数据急剧增加的环境下，实现实时且稳定的网络流量异常检测方法，需要满足处理大量数据、实时性、灵活、扩展性强、鲁棒等需求。

发明内容

本发明针对大量无标签的网络流量样本数据，以及少量带标签的网络流量样本数据，通过训练得到入侵检测模型，用来对网络流量实时数据进行分类，检测出异常数据。

本发明采用的技术方案是：

一种迭代聚类的网络流量异常检测方法，包括以下步骤：

对网络流量历史数据进行抽样，再进行预处理，得到网络流量样本数据；

构建自编码降维模型，对网络流量样本数据进行降维，得到降维后的流量样本数据；

采用迭代聚类方法对降维后的流量样本数据进行聚类，得到聚类后的流量样本数据，再结合现有异常流量数据，对聚类后的流量样本数据打上伪标签，得到带伪标签的流量样本；