[发明专利]流量数据分析方法及流量数据分析系统

说明书

提供一种流量数据分析方法，用于分析被监测的应用系统的流量数据，其包括：对于被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备；基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；将所形成的第一格式的文件按顺序发送到第一消息中间件的与该文件对应的第一管道；自所述第一管道取出所接收的第一格式的文件时，并自其获取所需信息，将所获取的信息转换成第二格式的文件；将第二格式的文件逐个发送给第二消息中间件的第二管道；在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。

技术领域

本发明涉及网络技术，更具体地，涉及对网络环境中进出应用系统的流量数据的分析。

背景技术

随着互联网应用的快速发展，基于云架构的web类的应用系统逐渐增多；加之繁杂的业务功能、千差万别的客户访问路径、高并发的访问需求，导致数据中心在web类系统的运营与维护成为了一个难点和重点。

在国内开展web类系统运维的单位很多，但基本都是通过日志收集的方式进行分析。存在的主要问题是：基于日志的分析，非常依赖于应用系统记录日志的准确性和完整性。为了保证准确性，就必须充分要求应用代码保证逻辑的正确性；为了保证完整性，就必须要求将尽量多的信息输出到日志里面。

基于日志的这种分析方式，其与应用系统本身存在较高的关联性。日志记录不详细，不足以确保完整性，日志记录太详细将会给应用程序的性能及主机的磁盘空间带来相当大的消耗。

当对应用系统变更监控或业务需求时，应用系统本身及日志采集分析系统都需要适应性的进行调整，所额外产生的成本是比较大的，并且不够灵活。

发明内容

本发明意在提供一种流量数据分析方法，用于分析被监测的应用系统的流量数据，其包括：对于被监测的应用系统，将进出其的流量镜像到流量服务器的网络连接设备；基于预设参数，通过抓包工具从被镜像到流量服务器的网络连接设备的流量中获取与预设参数相关的数据，并将所获取的数据形成为第一格式的文件；将所形成的第一格式的文件按顺序发送到第一消息中间件的与该文件对应的第一管道；自所述第一管道取出所接收的第一格式的文件时，并自其获取所需信息，将所获取的信息转换成第二格式的文件；将第二格式的文件逐个发送给第二消息中间件的第二管道；在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中。

根据本发明的示例，优选地，将进出其的流量镜像到流量服务器的网络连接设备是基于SPAN（Switched Port Analyzer）技术将流量镜像到流量服务器的网络连接设备。

根据本发明的示例，优选地，所述网络连接设备是网卡。

根据本发明的示例，优选地，将所形成的第一格式的文件按顺序发送到第一消息中间件是按照所述第一格式文件形成的时间顺序发送所述第一格式的文件到第一消息中间件。

根据本发明的示例，优选地，将第二格式的文件逐个发送给第二信息中间件的第二管道中是按照第二格式的文件形成的时间顺序逐个地将第二格式的文件发送给第二信息中间件的第二管道。

根据本发明的示例，优选地，在所述第二管道接收到第二格式的文件时，解析该文件并将解析获得的信息存储到建立的数据库中包括：a)监测所述第二管道，在其接收到第二格式的文件时，解析构成该文件的每个分包，进行相关的请求与响应；以及b)根据不同的协议，分析所进行的相关的请求与响应，将所得到的信息存储到建立的数据库中。