[发明专利]基于信息萃取的流量记录方法和系统

说明书

本发明公开了基于信息萃取的流量记录方法和系统，首先构建信息萃取策略，根据不同的情况选择不同的构建方法，捕获实时流量，对实时流量以及TCP和UDP报文进行深度分析，获得所需要的流量信息，对流量信息进行威胁检测，根据检测结果和流量信息查询对应的信息萃取策略，选择合适的信息萃取策略，对实时流量进行信息萃取，保存萃取出的信息。通过本方法解决了传统记录流量方法中，由于流量的持续，导致存储压力过大的问题。

技术领域

本发明涉及计算机网络安全领域，尤其涉及基于信息萃取的流量记录方法和系统。

背景技术

在反APT时代，从原始的流量中事后回溯是最有效的手段，但是要求保存的流量有比较长的时间跨度和信息的完整性的要求。在现有技术中，对历史流量的记录大致分为两个情况，一个就是全部采集存储，其缺陷就是，由于流量的持续，导致数据存储压力过大；另一种情况是采样存储，针对流量的报文或者流进行随机采样，其缺陷是若采样率比例大，则存储压力大，若采样比例小，则对实际事件的分析没有太多用处。

发明内容

针对上述技术问题，本发明提供了基于信息萃取的流量记录方法和系统，该方法首先构建信息萃取策略，建立流量信息和需要萃取的信息之间的关系集合，捕获实时流量，对实时流量进行深度分析并获取流量信息，对获取的流量信息进行威胁检测，根据获取的流量信息和威胁检测结果，查询对应的信息萃取策略，基于信息萃取策略，对实时流量进行信息萃取，把萃取出的信息按照流或会话方式保存。

基于信息萃取的流量记录方法，包括：

构建信息萃取策略，建立流量信息和需要萃取的信息之间的关系集合；

捕获实时流量；

对实时流量进行深度分析并获取流量信息；

对获取的流量信息进行威胁检测；

根据获取的流量信息和威胁检测结果，查询对应的信息萃取策略；

基于信息萃取策略，对实时流量进行信息萃取；

把萃取出的信息按照流或会话方式保存；

信息萃取策略包括：只记录流信息；记录流信息、连接信息和应用协议信息；记录流信息、连接信息、应用协议信息或者带应用协议头的原始报文；记录流信息、连接信息、应用协议信息或者带应用协议头的原始报文、传输中的文件/特定内容。

进一步的，所述信息萃取策略的建立方法包括：(1)直接内置到系统中；(2)根据用户的实际需求进行定制；(3)根据威胁检测结果动态调整。

进一步的，所述对实时流量进行深度分析并获取流量信息，具体为：针对实时流量以及TCP和UDP报文进行深度分析，识别出TCP和UDP报文所属的流和会话，识别出实时流量中的基本协议类型、应用协议类型、地址信息、应用协议信息以及传输的负载内容。

进一步的，所述对实时流量进行信息萃取包括萃取流信息、会话信息、协议信息、原始报文、负载传输文件。

基于信息萃取的流量记录系统，包括：

构建模块，用于构建信息萃取策略，建立流量信息和需要萃取的信息之间的关系集合；

捕获模块，用于捕获实时流量；

分析模块，用于对实时流量进行深度分析并获取流量信息；

检测模块，用于对获取的流量信息进行威胁检测；

查询模块，用于根据获取的流量信息和威胁检测结果，查询对应的信息萃取策略；

萃取模块，用于基于信息萃取策略，对实时流量进行信息萃取；

保存模块，用于把萃取出的信息按照流或会话方式保存；