[发明专利]基于流量镜像的异常流量检测方法及装置

说明书

本发明公开了一种基于流量镜像的异常流量检测方法及装置。异常流量检测方法包括：采用流量镜像方法实时获取云IDC的镜像流量，并将获取的镜像流量按照租户进行分流，以得到每个租户各自的镜像流量；通过对每个租户的镜像流量进行特征提取，得到其镜像流量的特征数据并进行存储；针对每个租户，根据其当前镜像流量的特征数据、历史镜像流量的特征数据，结合泊松分布以及离群点检测方法来判定当前镜像流量是否为异常流量。异常流量检测装置包括流量镜像单元、分流单元、特征提取单元和异常检测单元，分别用于实现与上述检测方法中对应步骤相对应的处理和功能。本发明的异常流量检测方法及装置，能够处理海量流量，准确地发现网络攻击或者系统异常。

技术领域

本发明涉及网络技术，尤其涉及一种基于流量镜像的异常流量检测方法及装置。

背景技术

随着计算机与网络技术的发展，网络流量异常检测和海量数据处理技术逐渐成为研究热点。

目前，现有的异常流量检测技术是采用流量取样的方式进行分析，对于云互联网数据中心(International Data Corporation,IDC)流量分析的支持不足，更偏重于互联网或者确定业务的流量分析。在确定业务的条件下，流量的特征比较确定，但是在云环境下流量复杂性要高很多，遇到更大的挑战。

因此，现有的异常流量检测技术对云服务提供商的大流量分析能力不足，尤其对云IDC流量进行分析和处理时的异常流量检测的准确度较低。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

为了解决上述技术问题，本发明提供了一种基于流量镜像的异常流量检测方法及装置，以至少解决现有的异常流量检测技术对云IDC流量进行分析和处理时存在异常流量检测准确度较低的问题。

为了达到本发明目的，根据本发明的一个方面，提供了一种基于流量镜像的异常流量检测方法，异常流量检测方法包括：采用流量镜像方法实时获取云IDC的镜像流量，并将获取的镜像流量按照租户进行分流，以得到每个租户各自的镜像流量；通过对每个租户的镜像流量进行特征提取，得到其镜像流量的特征数据并进行存储；针对每个租户，根据其当前镜像流量的特征数据、历史镜像流量的特征数据，结合泊松分布以及离群点检测方法来判定当前镜像流量是否为异常流量。

进一步地，离群点检测方法包括具有噪声的基于密度的聚类方法(Density-BasedSpatial Clustering of Applications with Noise，DBSCAN)、支持向量机(SupportVector Machine，SVM)、逻辑回归、线性拟合中的一种或多种。

进一步地，结合泊松分布以及离群点检测方法来判定当前镜像流量是否为异常流量的步骤包括：根据该租户的历史镜像流量的特征数据判定其是否对应于稳定业务类型；在判定该租户对应于稳定业务类型的情况下，采用卡方校验方法以及通过最小二乘法进行线性拟合来获得该租户当前镜像流量对应的特征预测值，以根据该租户当前镜像流量对应的特征预测值与实际的特征数据之差来确定该当前镜像流量是否为异常流量。

进一步地，结合泊松分布以及离群点检测方法来判定当前镜像流量是否为异常流量的步骤还包括：确定当前镜像流量之前的预定时间段内的历史镜像流量，利用该预定时间段内的历史镜像流量的特征数据，采用逻辑回归方法获得当前镜像流量的对应的特征预测值，以根据该租户当前镜像流量对应的特征预测值与实际的特征数据之差来确定该当前镜像流量是否为异常流量。

进一步地，对每个租户的镜像流量进行特征提取的步骤包括：对于每个租户的镜像流量，提取该镜像流量的多种特征，并通过计算多种特征之间的相关性来在多种特征之中选择至少部分特征，作为特征提取结果。