[发明专利]一种具有计算资源自适应性的异常流量检测方法

摘要

本发明提供一种具有计算资源自适应性的异常流量检测方法，属于计算机网络和机器学习的交叉领域。该方法包括模型训练和在线识别两部分，目的在于可以根据当前CPU资源情况，动态调节模型的参数，在满足准确率的情况下，提高识别的速度，同时可以降低内存占用率。本发明构建了一个动态获取参数方法，由此实现根据当前CPU占用率的情况，通过建立好的模型得到相应的参数，再利用该参数用深度学习模型对流量进行检测。

主权项

1.一种具有计算资源自适应性的异常流量检测方法，其特征在于，包括模型训练和在线识别；步骤一、模型训练首先，将给定数据集分成训练数据集与测试数据集；然后，利用训练数据集建立用于分类的网络模型1D‑CNN，利用测试数据集测试1D‑CNN，测试过程中不断修正参数，得到三类实验数据：识别时间、识别准确率和当前CPU占用率的情况；最后，将三类实验数据分别送到最小二乘法算法中得到三个回归模型：(1)识别时间与CPU空闲率：t＝f₁(x)；(2)截取长度与识别时间：l＝f₂(x)；(3)识别准确率与截取长度：p＝f₃(x)；步骤二、在线识别(2.1)CPU占用率监控：监控并获取当前机器运转情况下CPU占用率的情况；(2.2)获取参数：(A)获取识别时间t设监控到当前CPU占用率为a，则空闲率为1‑a，将当前CPU空闲率输入线性回归函数t＝f₁(x)，得到获取识别时间t；(B)获取截取长度l将当前CPU占用率情况下允许的最短识别时间t_min输入线性回归函数l＝f₂(x)，得到应截取的长度l；(C)获取识别准确率p将应截取的长度l输入非线性回归函数p＝f₃(x)，得到识别准确率p；(D)判断准确率设当前保证准确率达到p’，则将步骤(C)获得的p与p’进行比较，当满足准确率要求时，则直接输出截取长度l，否则将l递增，循环执行步骤(C)中，直到满足准确率p’，再输出截取长度l；(2.3)网络流量数据的采集：对计算机网络数据流的特性和变化情况进行监测和分析，掌握整个网络的流量特性；(2.4)网络流量数据的预处理(E)通过editcap命令将应用的首个数据包分离提取出来；(F)将数据包的内容转换成用十进制表示；(G)截取前N个字节，即步骤(D)获取的截取长度l；(2.5)1D‑CNN流量的识别(H)数据预处理：根据当前计算机的CPU占用率，计算出当前CPU的空闲率，再通过函数t＝f₁(x)计算出识别时间，然后根据时间‑截断长度的关系式l＝f₂(x)计算出应输入的截取长度，根据截取长度对数据进行预处理，并对于网络模型中相应的截取长度参数进行修改；(I)特征提取：修改之后的数据送入1D‑CNN网络中，首先经过大小为(5,32)的第一层卷积层进行卷积操作，接着进行Relu层的激活，然后BN层对于激活后的特征层进行标准化，标准化的结果送入到最大池化层进行特征压缩，用保存比率0.25的Dropout来防止过拟合；以上过程顺序执行两次，将普通的数据流量信息转变为高级的特色抽象，用于后续的分类预测；(J)全连接映射：将步骤(I)提取出来的高级的特色抽象进行线性映射，结合BN层和相应的保存比率为0.5的Dropout层来防止整体模型的过拟合；全连接层、BN层和Dropout层的顺序执行两次，两步的全连接权值大小均是200，然后经过大小为k的全连接层进行输出的类别数量调整，对应全部的k个类别；(K)SoftMax类别预测与交叉熵loss监督：长度为k的向量送入SoftMax层进行归一化，在实时的在线识别过程中选取其中概率最大的结果作为最终的预测分类标签；在模型训练过程中，将k个类别对应的softmax逻辑值，与训练数据集中真实标签的one‑hot编码进行交叉熵的计算，交叉熵作为1D‑CNN网络模型的loss函数来监督1D‑CNN网络模型的训练，1D‑CNN网络模型通过自适应学习率的RMSprop算法进行优化；并最后识别出应用属于哪个类别，从而知道是否存在异常。