[发明专利]基于Flink组件的流量链接分析方法及系统

说明书

本发明公开了基于Flink组件的流量链接分析方法及系统，属于流量处理技术领域，要解决的技术问题为如何实时收集流量数据并对流量数据进行链路分析。包括如下步骤：通过部署于网络节点的流量监控探针实时采集流量数据；通过探针服务器对流量数据进行解析，将流量包头信息推送至消息队列；通过Flink组件将流量包头信息中热数据存储至Elasticsearch，将冷数据存储至HDFS；通过Flink组件对所述流量数据进行补维操作，将明细数据推送至消息队列；通过Flink组件对明细数据进行聚合操作，将聚合操作得到的指标数据推送至消息队列；将指标数据中热数据存储至时序数据库、将冷数据存储至HDFS。

技术领域

本发明涉及流量处理技术领域，具体地说是基于Flink组件的流量链接分析方法及系统。

背景技术

当前，大部分集团公司拥有庞大的应用服务体系，各个区域的网络线路和设备随着策略的不断改变，也随之不断地调整。当某个网络节点故障导致某些应用出现问题，或者某条交易出现异常时，往往是运维人员根据自己经验选择性的登录机器排查问题，这样的做法需要大量的时间，难以做到在短时间内确定问题节点。

如何实时收集流量数据并对流量数据进行链路分析，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供基于Flink组件的流量链接分析方法及系统，来解决如何对流量数据进行实时收集、分类统计的技术问题。

第一方面，本发明的一种基于Flink组件的流量链路分析方法，包括如下步骤：

对于各网络节点，通过部署于所述网络节点的流量监控探针实时采集流量数据，并将流量数据传输至探针服务器；

对于每个流量数据，通过探针服务器对所述流量数据进行解析，并将解析得到的流量包头信息推送至消息队列；

通过Flink组件将所述流量包头信息中热数据存储至Elasticsearch，将所述流量包头信息中冷数据存储至HDFS；

获取各个网络节点的网络配置表信息，所述网络配置表包括MAC表、ARP表、路由表以及防火墙地址转化表，基于所述流量包头信息以及网络配置表信息、通过Flink组件对所述流量数据进行补维操作，基于设定的明细数据集规范对补维操作得到的明细数据进行数据处理后，将明细数据推送至消息队列；

通过Flink组件将所述明细数据中热数据存储至Elasticsearch、将所述明细数据中冷数据存储至HDFS；

基于设定的指标数据集规范以及所述流量数据对应的运维对象，通过Flink组件对所述明细数据进行聚合操作，将聚合操作得到的指标数据推送至消息队列；

通过Flink组件将所述指标数据中热数据存储至时序数据库、将所述指标数据中冷数据存储至HDFS。

作为优选，所述明细数据集规范设定有三类字段，分别为：

度量值，所述度量值作为进行聚合计算的值，包括流量数据中的客户端流量、服务器流量、服务器响应时间以及服务器丢包率；

维度，所述维度为描述度量值的角度，包括流量数据中的源IP、目的IP、源端口以及目的端口；

普通列，流量数据不作为最终分析目标或只作为计算中间量的数据、以及作为说明性的字段均作为普通列，包括备注和描述；

所述指标数据集规范设定有两类字段，分别为：

维度，所述维度与明细数据集规范中对应的维度一致；

指标，所述指标为度量值聚合计算后得到的值，包括客户端总流量、平均服务器响应时间。

作为优选，获取各个网络节点的网络配置表，包括如下步骤：