[发明专利]一种基于大数据的网络流量异常实时监测系统

说明书

本发明请求保护一种基于大数据的网络流量异常实时监测的系统，使用了一种解耦合的系统设计，数据采集，数据处理，数据分析与及时响应自成一体，系统高度模块化。其特征在于：用嗅探器进行了数据的分布式采集，实现全网监测，实时抓取网络数据包信息。根据URL结构设定了特定规则，构建数据处理模块，实现对URL的有效信息提取。大量URL数据输入到利用bagging集成的机器学习器中进行有监督式学习，得到能够识别URL类型的数据分析模块；Web端与移动客户端的结合以多角度，多层次呈现数据。安装在服务器上的防御插件实现了对服务器的及时防护，与此同时，实时更新系统分类器数据，提高系统实用性。

技术领域

本发明属于互联网领域，更具体地来说，设计一种基于大数据的网络流量 异常实时监测系统。

背景技术

1、信息时代的网络安全问题

随着网络规模的不断扩大以及各类网络应用的持续深化，互联网已经成为人 们生活中不可或缺的基础设施。但与此同时，各类网络攻击日益猖獗，严重威 胁着互联网的安全。例如2014年1月21日国内通用顶级域的根服务器忽然出 现异常，导致众多知名网站出现DNS解析故障，用户无法正常访问事故发生期 间，超过85％的用户遭遇了DNS故障，引发网速变慢和打不开网站的情况；2015 年4月中旬，阿里安全研究实验室近日发现一个名为“WiFi杀手”的安卓系统漏 洞。利用该漏洞，黑客可对开启了WiFi的安卓手机远程攻击，窃取手机内的照 片、通讯录等重要信息，影响市面上大部分安卓设备。如何防护对计算机和网 络资源的恶意使用与破坏成了当前亟待解决的问题。

2、网络安全产品现状

安装防火墙和入侵检测系统等网络安全产品已经成为一种通用防护措施。网 络防火墙能够强化安全策略，有效记录Internet上的活动，同时也是个安全的检 查站，但是防火墙不仅容易被攻破，而且无法应对来自本网络内部的攻击。基 于web的入侵检测系统是目前最流行的web主动安全防护技术，它能够检测到 外部攻击与合法用户滥用特权的情况，在最大程度上弥补防火墙的缺陷，然而 黑客通过一些适应性策略可以使检测不起作用。

3、流量监控方法

传统的流量监控方法一般分为三个步骤：流量引流、协议重组及后台内容分 析。引流分类单元按照协议类型将收到的数据包发给不同的协议重组单元，协 议重组单元还原应用层信息，随后将还原的应用层信息连同时间标签、链路信 息等发送至后台内容分析单元进行分析。后台内容分析对还原的应用层信息进 行热点统计、互联网信息分析等。从而采取一定的措施抑制网络攻击。

在此基础上，可以引入统一资源定位符(URL)，在预定时间内对URL的请 求次数进行统计以确定热点URL，主动抓取URL对应的资源，对其内容进行分 析，达到流量监控的目的。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种使系统实时性更强，实时 在线进行网络抓包与及时响应使系统具有更好的实用性的基于大数据的网络流 量异常实时监测系统。本发明的技术方案如下：

一种基于大数据的网络流量异常实时监测系统，其包括：

数据采集模块：用于把嗅探器工具分布式放置于网络中，实时抓取网络数据 包信息并发送给URL处理模块(702)；

URL处理模块：用于根据接收的网络数据包信息，对统一资源定位符对URL进 行特征提取，并转发给URL分析模块；

URL分析模块：对大量URL数据进行有监督学习，得到能够通过对URL进行分 析判定出访问性质的模型；将提取过有效信息的URL输入模型，经过多个分类 器分类打标，确定该URL的访问性质；

及时响应模块(704)：在确定URL的访问性质后及时响应前端，在监测到访问 异常的情况下及时对用户作出警示，同时可视化呈现攻击次数与形式。