[发明专利]一种迭代聚类的网络流量异常检测方法

权利要求书

1.一种迭代聚类的网络流量异常检测方法，其特征在于，包括以下步骤：

对网络流量历史数据进行抽样，再进行预处理，得到网络流量样本数据；

构建自编码降维模型，对网络流量样本数据进行降维，得到降维后的流量样本数据；

将所述降维后的流量样本数据，记为簇A，聚类后得到两个簇，记为B、C；

采用评价函数S对簇A进行评价，得到评价结果S_A；

采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

采用评价函数S对簇B、C进行评价，得到评价结果S_B、S_C；

若S_A小于S_B、S_C，则将得到的所有簇记为A₁、A₂、…、A_n，历史数据中带标签的网络流量样本数据中标签为异常的数据点记为N₁、N₂、…、N_m，dis(A_x，N_y)为簇A_x中所有点到点N_y的平均距离，取dis(A₁，N₁)、dis(A₁，N₂)、...、dis(A₁，N_i)中值最小的10组数据求平均值，小于一定阈值则给簇A₁赋予伪标签异常，否则赋予伪标签正，A₂、…、A_n赋予伪标签方式同A₁；

若S_A大于S_B，将簇B记为簇A，则再次采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

若S_A大于S_C，将簇C记为簇A，则再次采用DBSCAN聚类方法对簇A进行聚类，得到簇B、C；

采用带伪标签的流量样本数据训练分类器，采用训练好的分类器对预处理后的网络流量实时数据进行分类，检测出异常的网络流量。

2.根据权利要求1所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述对网络流量历史数据进行抽样，再进行预处理，得到网络流量样本数据，具体为：

采用分层抽样的方式，对网络流量历史数据进行抽样按天或者小时进行抽样，得到网络流量抽样数据；

对网络流量抽样数据进行清洗，去除请求日期属性、时间戳属性和报文内容属性，将标识属性、流量类型属性、访问协议属性、请求类型属性以及攻击类型进行one-hot编码，得到网络流量样本数据。

3.根据权利要求2所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述构建自编码降维模型，对网络流量样本数据进行降维，得到降维后的流量样本数据，具体为：

采用预处理后的流量数据训练自编码网络，得到自编码降维模型，用于对网络流量数据进行降维；

使用自编码降维模型对训练数据进行降维操作，得到网络流量低维样本数据。

4.根据权利要求3所述的一种迭代聚类的网络流量异常检测方法，其特征在于，所述步骤自编码网络由编码器和解码器2个部分组成，所述编码器由3层带激活函数的全连接网络组成，所述激活函数为Tanh，编码器用于将高维的网络流量样本数据以低维的形式表示；所述解码器由3层全连接网络组成，解码器用于将低维形式的数据重新还原成与输入相同的维度，编码器的输出数据是解码器的输入数据，自编码网络训练阶段采用的损失函数公式如下：

loss＝(decoded-original_data)²+λT_w

其中，decoded表示解码器输出，original_data表示原始流量样本数据，λ是正则项的系数，是权重正则项，防止模型过拟合，L表示层数，I和J表示权重W的索引。