[发明专利]网络应用层全流量向量化记录生成方法和系统

说明书

本发明提供了一种网络应用层全流量向量化记录生成方法和系统，包括：已知协议解析模块、信息流综合解析模块、时间窗口流量描述模块、全流量向量化模型生成模块、全流量向量化模块。本发明既全面覆盖了一个时间片内的全流量信息，又压缩了表示空间；使用深度神经网络自动提取每个时间片的全流量信息中的重要特征，而后组成全量记录。既保留了全流量的重要信息，又压缩了记录存储空间。可以广阔应用于长期记录和保存、呈现、应用层告警运算、相似性运算、安全入侵预算、价值挖掘等场景。

技术领域

本发明涉及数据处理、流量分析、日志处理、网络分析、应用性能监控领域，尤其涉及一种网络应用层全流量向量化记录生成方法和系统。

背景技术

分布式系统（distributed system）泛指建立在网络之上的软件系统，这种系统具有高度的内聚性和透明性，在商业领域、公共领域、IT基础设施领域有着广泛的应用。相应的，针对分布式系统的监控和表示也有其广泛意义和用途，例如运维保障、安全保障、数据价值挖掘等。

在分布式系统中，基于Log的监控方案其优点是易于实现，缺点是由于缺乏统一的标准，数据量过于嘈杂（譬如包括错误时的程序堆栈等），也过于庞大，往往需要建立大规模的集群进行采集、清洗、分析和存储，这种方法所占用的带宽传输资源、计算资源、存储资源都相当庞大，一般来说投资收益比比较低。同时，对于实际项目实施，其改造和交付时间都是较长的。

而基于网络的监控方法，却有着标准相对统一，数据质量高，实施交付快等优势。基于网络的监控方法也就是基于OSI/ISO网络分层标准，通过旁路镜像系分布式系统中真实网络流量，对于镜像后的网络流量的数据包报文进行分析的方法。当前网络主要使用的基于TCP/IP协议簇的开放实现，其中的网络协议和传输协议，譬如IPv4、IPv6，TCP、UDP等都是规范的，而上层应用中，HTTP、XML、JSON、MQ、8583、SQL等也往往是由相对稳定和规范的。因此，基于网络的方案，其数据是相对标准和统一的。同时，分布式系统中，网络报文主要是服务或者应用之间的相互调用，也就是输入和输出为主的数据，因为其封装了底层的实现细节，因此相对Log数据来说，质量要高的多，可以高效地表征整体系统的运行状况。在实施上，因为数据的规范行，方案的普适性，因此实时周期短，所需的计算和存储资源都相对小，效率高。

在分布式系统中，基于网络交换数据的网络层指标和应用层指标也是用途最广泛的两类数据源。应用层指标在系统状态监控、快速异常发现、问题定位、事后复盘等工作中起到核心作用。这些指标包含但不限于特定业务行为、该业务行为的序列号、业务开始时间、业务结束时间、响应开始时间、相应结束时间、源地址、目的地址等。目前，由于应用层全量数据一方面数据量庞大，另一方面也有着丰富的多样性，因此当前往往只能根据业务经验记录应用层的部分指标，例如交易量、响应时间、成功率等做统一呈现和分析，但未记录的指标却可能包含重要的信息。

专利文献“一种流量数据的异常检测方法及装置”（CN112232948A）只能对单个流量向量化，专利文献“深度学习模型及其预测流量数据的方法”（CN111738781B）仅关注与流量数据大小相关的特征。

如何使用一种统一的方案来包含和记录更多的应用层信息，做统一的表示，做统一的运算、长期存储是个新的和充满应用价值的问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种网络应用层全流量向量化记录生成方法和系统。

根据本发明提供的一种网络应用层全流量向量化记录生成系统，包括：

已知协议解析模块：解析流经结点的原始网络流量的协议，得到已知协议流量和未知协议流量，将所述已知协议流量解析为已知协议解析列表，所述已知协议解析列表中的每项为已知协议流量的单次通信的描述元组；