[发明专利]一种基于会话索引的应用性能报文存储装置在审
| 申请号: | 202110241822.9 | 申请日: | 2021-03-04 |
| 公开(公告)号: | CN112905852A | 公开(公告)日: | 2021-06-04 |
| 发明(设计)人: | 周向军 | 申请(专利权)人: | 睿石网云(杭州)科技有限公司 |
| 主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/955;H04L29/06;H04L29/08 |
| 代理公司: | 北京恒泰铭睿知识产权代理有限公司 11642 | 代理人: | 王雨 |
| 地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 会话 索引 应用 性能 报文 存储 装置 | ||
1.一种基于会话索引的应用性能报文存储装置,其特征在于,包括以下步骤:
P1、报文采集:通过流量镜像采集网络报文;
P2、应用报文分组:对捕获到的网络报文进行应用性能分析,基于【客户端IP、服务端IP、应用协议、响应时长分级】应用四元组信息对报文进行分组,采用哈希表数据结构对网络报文数据进行缓存,其中某网络五元组对应的报文分组称为“应用性能报文组”;
P3、应用报文存储:当某应用性能报文组达到持久化阈值后,将该报文组编码为pcap格式文件,存储本地或分布式存储,记录该pcap文件的存储URL;
P4、报文索引存储:将pcap文件对应的网络四元组信息、开始时间、结束时间、存储URL构建为应用报文描述信息,该信息为字符串格式,基于Lucene索引引擎将所有的应用报文描述信息建立全文索引并存储。
2.根据权利要求1所述的一种基于会话索引的应用性能报文存储装置,其特征在于:所述步骤P1中网络报文采集,本发明采用多路并行采集的技术同时采集支持流量镜像技术的各类网络设备,包括实体网络环境和虚拟网络环境报文数据,包括企业网络环境、互联网环境和工控网络环境等,具有极大的网络适应性。
3.根据权利要求1所述的一种基于会话索引的应用性能报文存储装置,其特征在于:所述步骤P2报文分组包括以下步骤:B1.对捕获到的网络报文Header部分进行解析识别,获取每一个网络报文的网络四元组信息【客户端IP、服务端IP、应用协议、响应时长分级】;B2.基于网络四元组信息对报文进行分组;B3.采用哈希表数据结构对网络报文数据进行缓存,其中某网络五元组对应的报文分组称为“应用性能报文组”,该哈希表数据结构的具体设计为:
HashMapKEY,LISTPT
键信息KEY是字符串格式,是网络四元组信息聚合,具体为:
KEY=cip+“@”+sip+“@”+prot+“@”+art,其中cip代表客户端IP,sip代表服务器IP,prot代表网络协议,art代表响应时间等级。
值信息是一个数组结构,表示为LISTPT,该数组存储该分组对应的所有网络报文数据,PT代表一个网络报文数据。
4.根据权利要求1所述的一种基于会话索引的应用性能报文存储装置,其特征在于:所述步骤P3报文文件存储的持久化阈值设计为:假设某应用性能报文组LISTPT的参数为:L为总长度,表示该报文组中的报文总个数;T为总时长,表示该报文组最新加入的数据包与最早加入数据包的时间差值;I为空闲时长,表示该报文组有多长时间没有新的报文加入,则持久化阈值为:
Lmax为报文组最大长度,默认为10000,当LLmax时,将该报文组编码为pcap并进行存储;
Tmax为报文组最大时长,默认为300s,当TTmax时,将该报文组编码为pcap并进行存储;
Imax为报文组最大空闲时长,默认为60s,当IImax时,将该报文组编码为pcap并进行存储。
5.根据权利要求1所述的一种基于会话索引的应用性能报文存储装置,其特征在于:所述步骤P3报文文件存储进行本地存储或分布式存储采用Hadoop分布式文件系统(HDFS)实现,记录每一个应用性能报文组对应的pcap文件的存储URL。
6.根据权利要求1所述的一种基于会话索引的应用性能报文存储装置,其特征在于:所述步骤P4报文索引建立的步骤包括:
D1.构建应用报文描述信息(APDI,Application Packet Description Information),每一个存储的pcap文件对应一条APDI信息,该信息将pcap文件对应的网络四元组信息、开始时间(用st表示)、结束时间(用et表示)、存储URL(用url表示)构建为应用报文描述信息,该信息为字符串格式,APDI信息具体表达为:
APDI=st+“空格”+et+“空格”+ip+“空格”+sip+“空格”+cport+“空格”+sport+“空格”+prot
D2.基于Lucene索引引擎对全部APDI数据建立全文索引并存储,在建立索引时,以“空格”作为分词依据,可以做到简洁高效。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于睿石网云(杭州)科技有限公司,未经睿石网云(杭州)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110241822.9/1.html,转载请声明来源钻瓜专利网。





