[发明专利]基于增量学习的异常流量检测方法、装置及存储介质

说明书

本发明公开了一种基于增量学习的异常流量检测方法、装置及存储介质检测方法，获取用户端的流量数据；利用异常检测设备中预先构建的流量检测分类器对所述流量数据进行异常检测；当检测出异常数据时，基于所述异常数据，得到训练样本数据，并利用所述训练样本数据对所述流量检测分类器进行在线训练。本发明通过增加训练样本的多样性、提高了分类器的泛化能力。

技术领域

本发明涉及网络流量异常检测技术，具体涉及一种基于增量学习的异常流量检测方法、装置及存储介质。

背景技术

网络流量异常是指网络流量偏离其正常轨迹的情形，如:占用资源的操作行为、攻击性行为等，尤其是攻击行为产生的异常将威胁到整个网络的安全。流量异常检测的目的就是要及时发现这些异常，并做出快速的反映。

目前流量异常检测的方法包括基于统计分析的检测方法和基于机器学习的检测方法。

基于统计分析的方法，可以根据时间序列对数据流量采样进行分析，从数据分布、流量变化、子资源占用情况等多个维度进行统计分析，提取描述流量的特征，再利用这些特征数据通过分类器分析出一些阈值结果作为判别标准；也可以通过分析数据包载荷部分的字符串来识别异常异常流量。

基于机器学习的检测方法，一般是对正常和异常流量分别建模构成分类器，然后分别预测属于正常和异常的概率，取概率大者作为最终类别结果。

对于上述两种方案均存在以下问题:

1.实时性较差，无论是基于统计分析的阈值的选择，还是基于机器学习的模型的构建都是需要先对线下数据进行分析，然后再线上部署生产环境，而流量数据是每时每刻都在不断变化的，这样的模型或阈值显然容易产生误判，甚至失效，即使定时更新，也必然有时间上的滞后性。

2.模型是基于大量正反例样本构建的，由于反例样本稀缺，模型泛化能力差。

发明内容

本发明的目的是为了提供基于增量学习的异常流量检测方法、装置及存储介质，该方法增加训练样本的多样性、提高分类器的泛化能力。

依据本发明的一个方面，提供一种基于增量学习的异常流量检测方法，

获取用户端的流量数据；

利用异常检测设备中预先构建的流量检测分类器对所述流量数据进行异常检测；

当检测出异常数据时，基于所述异常数据，得到训练样本数据，并利用所述训练样本数据对所述流量检测分类器进行在线训练。

可选地，本发明所述方法中，所述基于所述异常数据，得到训练样本数据，包括：

抽取所述异常数据中的有效数据；

对抽取的有效数据进行模式挖掘；

对模式挖掘得到的数据进行归一化处理，得到训练样本数据。

可选地，本发明所述方法中，当检测出异常数据时，所述方法还包括：发出警报。

可选地，本发明所述方法中，所述方法还包括：

采集历史流量数据；

基于所述历史流量数据，得到历史训练样本数据；

利用所述历史训练样本数据，对所述流量检测分类器进行离线训练，离线训练更新的流量检测分类器实时同步至所述异常监测设备。

可选地，本发明所述方法中，采用深度学习算法或者迁移学习算法，对所述流量检测分类器进行在线或者离线训练。

依据本发明的另一个方面，提供一种基于增量学习的异常流量检测装置，包括数据采集模块和在线增量学习模块，

所述数据采集模块，用于获取用户端的流量数据；