[发明专利]一种基于会话索引的应用性能报文存储装置

说明书

一种基于会话索引的应用性能报文存储装置，涉及应用性能管理技术领域，包括以下步骤：P1、报文采集：通过流量镜像采集网络报文；P2、应用报文分组：对捕获到的网络报文进行应用性能分析；P3、应用报文存储：当某应用性能报文组达到持久化阈值后，将该报文组编码为pcap格式文件，存储本地或分布式存储，记录该pcap文件的存储URL；P4、报文索引存储：将pcap文件对应的网络四元组信息、开始时间、结束时间、存储URL构建为应用报文描述信息，该信息为字符串格式，基于Lucene索引引擎将所有的应用报文描述信息建立全文索引并存储。

技术领域

本发明涉及应用性能管理技术领域，具体为一种基于会话索引的应用性能报文存储装置。

背景技术

在互联网+的发展趋势下，网络的复杂程度逐日增加，这使得网络故障的排查难度与日俱增，并且很多故障是瞬时突发的，网络管理者很难通过常规网络排查手段追溯故障时段数据，难以找到故障根源，给网络留下了故障隐患。

同时，虚拟化环境的大量应用，过去，传统模式下的信息安全防护解决方案中，最重要的一点就是建立网络边界，区分信任域和非信任域，然后在网络边界用网关进行访问控制和安全防御。在虚拟化时代，同一个主机上的虚拟系统互相访问则不会经过这些过时的网关设备。再有，传统物理时代能够用“拔网线”这样的手段立即中止网络形式的病毒爆发，在虚拟化时代这样的策略已经是不符合新的系统形态。而且边界式的防护在云计算时代也随着边界定义模糊、消失而不再适用。传统信息安全防护体系在云计算时代面临重大的挑战。在这种状态下，网络运维人员很难通过常规网络排查手段追溯和分析攻击行为，尤其难以对长周期攻击的影响范围进行分析。

利用网络报文的长周期存储和回溯分析技术可以通过对网络中的数据包进行实时的保存、深入的分析，能够实时分析并回查网络中任意时段中每一个细微的异常现象，并且快速定位出现故障的网络节点，帮助用户在第一时间解决困扰他们的网络故障和安全隐患。目前国内外针对网络报文存储技术的研究有一定的研究成果。在国内，《一种报文存储调度方法及装置》(申请号CN201510618012)介绍了一种报文存储调度方法，解决了相同特征信息的报文在同一时间处理可能出现的阻塞和死锁的问题。《一种智能变电站网络报文的裸盘存储方法》(申请号：CN201510445719)介绍了一种智能变电站网络报文的裸盘存储方法，该技术均衡利用硬盘，有利于硬盘系统的安全和稳定。网络报文按类型分开存储，减少了后期检索的遍历时间。《一种分体式可扩展的网络报文存储装置》(申请号：CN201520354590)介绍了一种分体式可扩展的网络报文存储装置，该技术通过PCI-E总线端口通过可插拔的外部PCI-E总线与外部的扩展设备连接。

从已有的网络报文存储技术成果看，现有技术成果大多侧重于海量报文数据的存储技术，而对报文数据的高性能检索技术涉及较少，现在技术体系下对TB级网络报文数据的检索往往需要分钟级甚至小时级。而在网络攻防实践中，攻击是一个动态的过程，只有快速分析高效防御才能更好的保证网络安全，因此，必须有新的技术解决海量报文数据的存与高效检索问题。

本发明创新性建立“应用报文描述信息(APDI，Application Packet DescriptionInformation)”技术，使得TB级网络报文数据实现高性能存储的同时，实现了针对字节码格式网络报文的细粒度索引，从而实现了针对网络报文的细粒度检索，本发明可以将TB级网络报文数据的检索时间提高至秒级，大大提高了网络故障定位和攻击分析能力。

发明内容

为实现上述的目的，本发明提供如下技术方案：一种基于会话索引的应用性能报文存储装置，包括以下步骤：

P1、报文采集：通过流量镜像采集网络报文；

P2、应用报文分组：对捕获到的网络报文进行应用性能分析，基于【客户端IP、服务端IP、应用协议、响应时长分级】应用四元组信息对报文进行分组，采用哈希表数据结构对网络报文数据进行缓存，其中某网络五元组对应的报文分组称为“应用性能报文组”；