[发明专利]一种基于网络流量元数据的WEB资源扫描行为检测方法

说明书

本发明涉及一种基于网络流量元数据的WEB资源扫描行为检测方法，在交换机的镜像端口部署流量采集器采集流量信息；对旁路流量进行分离，计算出HTTP流量信息，每条HTTP的流量信息用深度报文分析技术计算得到；每条HTTP的流量信息通过HTTP的元数据来刻画，对HTTP元数据进行优化处理，按照一个时间段T做六维聚合运算，不同元数据被聚合成一条记录，经过处理后的元数为相同连接个数的和；识别被扫描域名，通过扫描路径找出路径，最后返查黑客IP地址本发明能够提供一种多级规则管道式的组合、可准确识别出被攻击的主机域名、定位WEB资源扫描的路径以及能够有效返查出攻击的源IP的基于网络流量元数据的WEB资源扫描行为检测方法。

技术领域

本发明属于网络安全相关技术领域，具体涉及一种基于网络流量元数据的WEB资源扫描行为检测方法。

背景技术

WEB资源扫描对WEB安全至关重要，它可以访问到WEB服务器上没有被引用的重要资源，发现WEB的漏洞，如果黑客用扫描器发现了WEB的漏洞或者获取到用户凭证，那么WEB服务器极有可能在接下来受到黑客的入侵，如果我们能在扫描阶段察觉到黑客的动作，便能够及时地对WEB服务器进行防护；目前的WEB防护技术主要集中在入侵阶段，在漏洞扫描及目录遍历方面没有有效的检测手段。

WEB资源扫描通常会在特定的目录下，通过随机生成的文件名，构造大量不同的URL请求，尝试获取该目录下的重要资源；以往的WEB资源扫描检测方法，以攻击方源IP和目的服务器IP作为关键字来构造HASH表，然后通过计算每个（源IP，目的IP）对应的唯一URL请求个数，以及状态码大于400的异常请求占总请求个数的比例，来识别两者之间是否存在扫描行为，这种方式具有以下不足：对于分布式的WEB服务器，URL请求的处理会由多台对应不同IP的主机进行负载均衡，这种情况下对单一目的IP的检测仅仅统计了扫描行为的一小部分，计算的异常请求个数并不能用来衡量真正的攻击频率；单一IP发起的大量异常请求很容易被察觉，黑客可能会通过控制的僵尸网络中的多台肉鸡联合发起扫描，在这种情况下，对于单个肉鸡IP，其产生的异常请求实际上并不多，能够轻易规避以往的检测手段。

发明内容

本发明的目的在于提供一种多级规则管道式的组合、可准确识别出被攻击的主机域名、定位WEB资源扫描的路径以及能够有效返查出攻击的源IP的基于网络流量元数据的WEB资源扫描行为检测方法。

下面关于后续技术方案表述中涉及的专业名词解释如下：

HTTP：超文本传输协议；

SIP：为英文Source IP的简称，源IP地址；

HOST：主机域名；

URL为Uniform Resource LocaTor的英文缩写，是指统一资源定位器或资源地址；

DPI：深度报文分析技术；

STATUS_CODE：服务器响应状态码；

FLOW：一条流的连接次数；

URL_ANOMALY：异常的资源地址；

URL_TOTAL：资源地址总数；

LIST_HOST：域名列表；

URL_LIST：资源地址列表；

PATH：路径；

PATH_LIST：路径列表；

TRIE：一般指字典树，又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。

为实现上述目的，本发明提供如下技术方案：一种基于网络流量元数据的WEB资源扫描行为检测方法，具体包括如下步骤：

步骤S1：首先通过旁路采集实时网络流量并解析处理，具体包括旁路监听采集流量、聚合元数据预处理，并将处理后的数据记录存储到大数据分析平台用于后续分析；