[发明专利]HTTP恶意流量的检测方法及系统

说明书

本发明公开了一种HTTP恶意流量的检测方法及系统，该方法包括：抓取网络流量数据，并对网络流量数据进行预处理，得到对应每条HTTP请求的格式化数据；对格式化数据进行特征提取，得到每条格式化数据的文本向量特征；基于预先训练的恶意流量检测模型对文本向量特征进行分类检测，检测出HTTP恶意请求；基于相似攻击聚类算法对HTTP恶意请求进行相似攻击聚类，得到聚类簇；基于聚类簇进行分析，得到HTTP恶意请求的恶意攻击信息。本发明利用Spark大数据分析引擎对流量数据进行特征提取和转化，并利用机器学习和聚类算法对恶意流量进行挖掘，提高了网络恶意流量的检测精确度，减少了安全分析人员的流量分析时间成本。

技术领域

本发明涉及网络通信技术领域，特别是指一种HTTP(Hyper Text TransferProtocol，超文本传输协议)恶意流量的检测方法及系统。

背景技术

近年来，随着互联网应用的发展突飞猛进，互联网的网络规模呈现出空前的扩张趋势，网络复杂程度也越来越高。互联网给广大用户带来便利服务的同时，随之而来的网络安全问题也愈加严峻。网络数据传输中频频发生用户信息被任意窃取、修改等事件，使得网络安全问题引起广泛重视。

恶意流量识别是网络监管中的一个重要手段，使用网络流量分析对恶意流量进行识别与分类已经成为一个热点研究课题，其通过对网络流量数据进行分析，将流量数据标记为正常流量和恶意流量。恶意流量识别按照协议可分为全流量检测、加密流量检测、工控协议流量检测、TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议)流量检测、DNS(Domain Name System，域名系统)流量检测、HTTP流量检测等。按照检测方法可分为基于规则的检测、基于机器学习模型的检测、基于深度学习模型的检测以及综合性的检测方法等。

针对HTTP的恶意攻击，WAF(Web Application Firewall，网站应用级入侵防御系统)规则检测方法主要通过正则匹配的方式进行恶意流量检测。该方法检测速度快，但模式固定且单一、检测结果的好坏完全依赖于WAF正则表达式，并且该方法只能检测出已知的网络攻击方式，对于加入了混淆代码的攻击方式或者未知的攻击方式，该方法并不能奏效。基于深度学习模型的检测方法具有良好的数据拟合能力，能够一定程度的识别出具有混淆代码的恶意攻击，但由于深度学习的解释性较差，且需要消耗大量的GPU(GraphicsProcessing Unit，图形处理器)资源，所以并不适用于如今的大数据流量检测场景。

发明内容

有鉴于此，本发明的目的在于提出一种HTTP恶意流量的检测方法及系统。

基于上述目的本发明提供的一种HTTP恶意流量的检测方法，包括以下步骤：

抓取网络流量数据，并对所述网络流量数据进行预处理，得到对应每条HTTP请求的格式化数据；

对所述格式化数据进行特征提取，得到每条所述格式化数据的文本向量特征；

基于预先训练的恶意流量检测模型对所述向量特征进行分类检测，检测出HTTP恶意请求；

基于相似攻击聚类算法对所述HTTP恶意请求进行相似攻击聚类，得到聚类簇；

基于所述聚类簇进行分析，得到所述HTTP恶意请求的恶意攻击信息.

在一实施例中，所述对所述网络流量数据进行预处理，包括：

判断所述网络流量数据是否属于HTTP请求，如果判断为否，则对不属于HTTP请求的网络流量数据进行过滤；

如果判断为是，则对所述HTTP请求进行以下处理的一种或多种：

判断所述HTTP请求是否属于二进制格式，如果判断为是，则将所述二进制格式的HTTP请求格式化为文本结构；