[发明专利]一种基于流量高频内容的模式匹配算法及系统

说明书

本发明提出了一种基于流量高频内容的模式匹配算法及系统，涉及一种模式匹配算法，尤其涉及一种基于流量高频内容的模式匹配算法及系统。通过建立高频内容集和映射集的自动机，将当前扫描字符通过映射集与高频内容集进行匹配；映射集由高频内容集合中所有字符串的第一个字符去重后构成的集合。当访问自动机节点时，执行快速搜索以确定是否需要对高频内容集进行二次搜索。自动机扫描的过程从左往右扫描，自动机从根节点开始，扫描一个字符时匹配高频内容集的字符串，当扫描字符与高频内容集的字符串匹配时跳过高频内容，因此解决了现有技术中因忽略了流量中重复内容的特征导致的匹配效率低的问题，从而提升匹配效率。

技术领域

本申请涉及一种模式匹配算法，尤其涉及一种基于流量高频内容的模式匹配算法及系统。

背景技术

企业网关的NIDS检测流量中，大量HTTP流量内含有很多重复内容，包括完全重复和部分重复。完全重复是指整个字符串多次出现，像stylesheet(如，html，head，/style)，而部分重复是子字符串，例如共享的html代码。另外，来自同一个互联网内容提供商的流量非常相似，相同的html框架，类似的文件。

模式匹配的经典算法是AC算法，AC算法是基于前缀搜索的自动机算法，使用前缀来建立一个有穷状态自动机(DFA)，利用这个自动机来对文本进行匹配扫描，找到文本中和模式集合完全相同的匹配信息。AC算法包括自动机和自动机扫描过程两部分，其中自动机包括goto表、Fail表、output表，goto表为状态跳转记录，fail为失败函数记录，output为命中模式记录；自动机扫描的过程是从左往右扫描，自动机从根节点开始，扫描一个字符，如果当前状态接收该字符，则跳转到下一个状态，如果不接收该字符，则根据fail表跳转到失效状态，继续扫描，直到文本全部扫描完成。

AC算法需要逐字符进行扫描，算法复杂度为O(n)，忽略了流量中重复内容的特性，匹配性能低。

发明内容

为解决现有技术中存在的忽略了流量中重复内容的特征的技术问题，本发明提供了一种基于流量高频内容的模式匹配算法及系统。

一种基于流量高频内容的模式匹配系统，包括AC自动机、映射模块和UHC匹配模块；所述UHC匹配模块和AC自动机之间通过映射模块建立通讯，所述映射模块由多个映射集组成；所述UHC匹配模块创建与映射集对应的多个子集；所述AC自动机用于扫描文本，所述映射模块用于匹配高频内容，所述UHC匹配模块用于处理高频内容并保存跳回AC自动机的状态。

一种基于流量高频内容的模式匹配算法；包括以下步骤：

S1.创建自动机；

S1.1.根据模式集构建自动机，首先创建根节点；

S1.2.按字符顺序输入模式下一个字符，如果不存在该字符的边，则执行步骤S1.3，否则，执行步骤S1.4；当所有模式的所有字符都插入到自动机中，执行步骤S1.5；

S1.3.创建新节点，设置边值为扫描字符，返回步骤S1.2；

S1.4.自动机状态沿着该边跳转到下一个节点，返回步骤S1.2；

S1.5.深度遍历自动机，给每个节点添加失败指针；

S1.6.提取高频内容的所有模式的首字符，去掉重复字符，形成映射集，每个字符为一个独立节点；

S1.7.遍历自动机，找到映射集字符，当边值与映射集字符相同，则将当前节点与映射集字符关联；

S1.8.映射集每个字符关联高频内容，形成高频内容集，通过计算哈希值代表高频内容，n个字符对应n个高频内容集；

S1.9.每个高频内容集计算哈希值并存储；