[发明专利]用于正则表达式的编译器

说明书

相关申请

本申请是2011年6月24日提交的美国申请No.13/168,450的继续并且要求其优先权。上述申请的全部教导通过引用合并于此。

技术领域

本公开的非限制性示例一般地涉及通信网络的技术领域，并且更具体地涉及用于内容搜索的方法和装置。

背景技术

开放系统互连(OSI)参考模型定义了用于通过传输介质进行通信的7个网络协议层(L1-L7)。上层(L4-L7)表示端对端通信并且下层(L1-L3)表示本地通信。

联网应用感知系统需要处理、滤波和切换L3到L7网络协议层的范围，例如，L7网络协议层诸如超文本传输协议(HTTP)和简单邮件传输协议(SMTP)，以及L4网络协议层诸如传输控制协议(TCP)。除了处理网络协议层，联网应用感知系统需要通过L4-L7网络协议层来同时确保这些协议对基于访问和内容的安全性，包括防火墙、虚拟专用网(VPN)、安全套接字层(SSL)、入侵检测系统(TDS)、因特网协议安全(IPSec)、线速度的防病毒(AV)和防垃圾邮件功能。

网络处理器可用于高吞吐量L2和L3网络协议处理，即执行分组处理以线速度转发分组。通常，通用处理器用于处理需要更多智能处理的L4-L7网络协议。虽然通用处理器可以执行计算密集型任务，但是没有足够用于处理数据使得其能够被以线速转发的性能。

内容感知联网需要以“线速度”的对分组内容的检查。可以对内容进行分析，以确定是否存在安全漏洞或入侵。应用大量正则表示式形式的图样和规则以确保所有的安全漏洞或入侵被检测到。正则表示式是用于描述字符串的图样的紧凑型方法。由正则表示式所匹配的最简单图样是单个字符或字符串，例如，/c/或/cat/。正则表示式还包括具有特殊含义的运算符和元字符。

通过使用元字符，正则表示式可以用于更复杂的搜索，诸如“abc.*xyz”。也就是说，在不限制“abc”和“xyz”之间的字符数目的情况下，找到字符串“abc”，之后是字符串“xyz”。另一示例是正则表示式“abc..abc.*xyz；”，也就是找到字符串“abc”，后面两个字符，然后是“abc”并且在不限制个数的字符后由串“xyz”跟随。

入侵检测系统(IDS)应用检查所有流过网络的独立分组的内容，并且识别可能指示尝试闯入或威胁系统的可疑图样。可疑图样的一个示例可以是分组中的特定文本串，该特定文本串在100个字符以后跟随另一特定文本串。

通常使用搜索算法来执行内容搜索以处理正则表示式，搜索算法诸如确定性有限自动机(DFA)或者非确定性有限自动机(NFA)。

发明内容

一种方法和相应的装置，涉及将用于给定的图样集合的非确定性有限自动机(NFA)图形转换成具有多个状态的确定性有限自动机(DFA)图形。DFA状态中的每一个被映射成NFA图形的一个或多个状态。计算映射成每个DFA状态的NFA图形的一个或多个状态的哈希值。对于给定图样，DFA状态表将多个DFA状态中的每一个与NFA图形的一个或多个状态的哈希值相关。

可以确定与由NFA图形和DFA图形所识别的字母相关联的给定图样的有效字符。基于该确定，该方法压缩NFA图形和DFA图形以识别图样，该图样仅由与NFA图形和DFA图形所识别的字母相关联的给定图样的有效字符组成。

附图说明

从如在附图中所示的本发明的示例性实施例的以下更具体的描述中，前述内容将显而易见，在附图中相同的附图标记指代所有不同视图中的相同部件。附图不一定按比例，而是着重于图示本发明的实施例。

图1是图示系统的框图，在该系统中操作安全设备以保护专用网络。

图2是可以由本发明使用的安全设备的框图。

图3是示例NFA的NFA图形。

图4是示例DFA的DFA图形。

图5A-G是图示图形爆炸的原理的NFA和DFA图形和表。

图6A-B是将NFA图形转换成DFA图形的方法的流程图。

图7是用于确定NFA图形中的状态的埃普西隆终止的方法的流程图。

图8A-C是用于将NFA图形转换成DFA图形的方法的流程图。

图9是用于确定NFA图形中的状态的埃普西隆终止的方法的流程图。

图9A-9B是用于将NFA图形转换成DFA图形的方法的流程图。

图9C是用于确定用于一组NFA状态的埃普西隆终止的流程图。