[发明专利]一种基于流式的网络异常流量检测方法

说明书

本发明涉及一种基于流式的网络异常流量检测方法，利用流式分类器和解释器检测网络中的异常流量。本发明的方法包括：从网络中截取网络流量数据，导入数据库；从数据库中提取数据，设计数据框架，构造数据点集合；为数据设计特征转换机制；对数据框架中的数据点进行检测、分类操作，利用流式分类操作器对网络流量数据进行分类；采用适应阻尼储层算法处理流式数据；对分类后的数据进行解释，利用解释操作器分析风险比率；将分类解释结果以静态报告的形式显示给用户。其流程如图1所示。该方法能够实基于流式网络异常流量数据的检测与分类以及异常数据的解释与分析。

技术领域

本发明涉及大数据领域的异常数据分析，特别是涉及网络异常流量的检测。具体涉及一种基于流式的网络异常流量检测方法，利用流式分类器和解释器检测网络中的异常流量。

背景技术

随着物联网、移动互联网、社会化网络的快速发展，数据增长迅速，半结构化及非结构化的数据以指数级的速度增长，数据来源的渠道也逐渐增多。如今，随着数据大爆炸，信息技术的发展再一次将人类代入一个新的时代——大数据时代。所谓大数据，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，具有4个V特征：数据量大Volume、变化速度快Velocity、多类型Variety与价值密度低Value。事实上，大数据概念较为准确地讲应该是指大数据技术，指对海量数据进行不同于以往的、全新的、低成本的处理技术以及在此基础上发展起来的大数据产业。大数据最具代表性的性质是收集和分析来自各类终端和应用的用户信息，通过组织或研究团队的智能分析，发现更多有价值的信息。

网络流量是现在常见的一种大型数据集，对于网络流量的分析变得越来越困难。尤其当网络中出现异常时，异常流量的检测具有很大的挑战性。网络流量的异常能够为网络故障的发生、安全的攻击提供良好的信息来实现监控、报警。现如今，网络安全问题已经是不可忽视的。总体来说，产生使网络发生重大故障的异常流量有以下一些方面：首先是拒绝服务攻击，这是一种危害极大，极为常见的攻击方式，称为DoS。再者，是分布式的拒绝服务攻击，也被称作是DDoS。其次是网络蠕虫病毒流量，以及相应的别的异常流量。这些网络的异常流量，能够引发骨干网络的减速、瘫痪，有着巨大的危害和破坏力。主要表现形式是带宽的占用、网络的阻塞，无法发送正常数据而导致的经常性丢包现象等。对于网络、各个服务器计算机乃至终端系统来说，网络异常流量会导致大量CPU时间片和内存空间的占用，无法正常响应需求服务。针对这些问题，需要构建网络流量异常的分析系统，进行良好的预警、报警和流量处理功能。

随着数据量的不断增加，人工检查越来越难以为继。Twitter，LinkedIn和Facebook当前每秒记录超过12M的事件。这些数量一直在增长，并且正在变得越来越普遍，机器生成的动态数据源，如传感器，流程和自动化系统预计每年将数据量增加40％。但是，人工分析和检测能力仍然有限，依靠人工检查和分析这些动态数据源变得越来越不可能。

虽然人类不能手动检查这些庞大的数据流，但是机器可以。为了提供对动态数据源的响应分析，机器可以采用基于流式的数据分析方法，过滤、突出显示和汇总数据，在数据到达用户之前对数据进行筛选和汇总。由于终端用户不具备人工分析大型数据中的每个结果的能力，因此可以通过利用计算资源来最大限度地发挥每个结果的效用，从而有助于终端用户进行分析。也就是说，大型数据需要一种基于流式的数据分析方法来帮助识别数据和数据趋势。现如今，机器学习和统计学的进步表明，构建这样的基于流式的数据分析方法是可能的。

发明内容

本发明针对目前爆炸式增长、依靠人工检测愈发困难的数据量，提出了一种流式的数据异常检测方法，将异常检测和数据分析相结合，提供数据自动分类的流式分类器以及向用户解释数据特征的解释器。另一方面，流式数据检测方法也有助于对网络中的异常流量进行检测。本发明提供了一种基于流式的网络异常流量检测方法，所叙述方法步骤如图1，包括：

1.数据提取

数据提取分为如下几个步骤：