[发明专利]基于Flink组件的流量链接分析方法及系统

权利要求书

1.一种基于Flink组件的流量链路分析方法，其特征在于包括如下步骤：

对于各网络节点，通过部署于所述网络节点的流量监控探针实时采集流量数据，并将流量数据传输至探针服务器；

对于每个流量数据，通过探针服务器对所述流量数据进行解析，并将解析得到的流量包头信息推送至消息队列；

通过Flink组件将所述流量包头信息中热数据存储至Elasticsearch，将所述流量包头信息中冷数据存储至HDFS；

获取各个网络节点的网络配置表信息，所述网络配置表包括MAC表、ARP表、路由表以及防火墙地址转化表，基于所述流量包头信息以及网络配置表信息、通过Flink组件对所述流量数据进行补维操作，基于设定的明细数据集规范对补维操作得到的明细数据进行数据处理后，将明细数据推送至消息队列；

通过Flink组件将所述明细数据中热数据存储至Elasticsearch、将所述明细数据中冷数据存储至HDFS；

基于设定的指标数据集规范以及所述流量数据对应的运维对象，通过Flink组件对所述明细数据进行聚合操作，将聚合操作得到的指标数据推送至消息队列；

通过Flink组件将所述指标数据中热数据存储至时序数据库、将所述指标数据中冷数据存储至HDFS。

2.根据权利要求1所述的基于Flink组件的流量链路分析方法，其特征在于所述明细数据集规范设定有三类字段，分别为：

度量值，所述度量值作为进行聚合计算的值，包括流量数据中的客户端流量、服务器流量、服务器响应时间以及服务器丢包率；

维度，所述维度为描述度量值的角度，包括流量数据中的源IP、目的IP、源端口以及目的端口；

普通列，流量数据不作为最终分析目标或只作为计算中间量的数据、以及作为说明性的字段均作为普通列，包括备注和描述；

所述指标数据集规范设定有两类字段，分别为：

维度，所述维度与明细数据集规范中对应的维度一致；

指标，所述指标为度量值聚合计算后得到的值，包括客户端总流量、平均服务器响应时间。

3.根据权利要求1所述的基于Flink组件的流量链路分析方法，其特征在于获取各个网络节点的网络配置表，包括如下步骤：

对于每种网络配置表信息，通过关系型数据库构建对应的数据库表，并设置所述数据库表的字段；

收集各个网络节点的网络配置表信息，并将收集的网络配置表信息按照对应数据库表的字段解析并保存。

4.根据权利要求1所述的基于Flink组件的流量链路分析方法，其特征在于对于流量数据，基于各个网络配置表、通过Flink组件确定所述流量数据所经过的逻辑路线，按照四元组或三元组将流量包头信息与MAC表、ARP表、路由表以及防火墙地址转化表进行匹配，并根据防火墙的地址转换规则确定地址转换后的地址对，将防火墙前后的流量数据拼接起来，从而得到所述流量数据的整个链路；

所述四元组包括源IP、源端口、目的IP、目的端口；

所述三元组为所述四元组中的任意三元。

5.根据权利要要求1所述的基于Flink组件的流量链路分析方法，其特征在于基于设定的指标数据集规范以及所述流量数据对应的运维对象，通过Flink组件对所述明细数据进行聚合操作，包括如下步骤：

对于消息队列中的明细数据，以指标数据对应的数据规范为数据格式标准，对每个指标数据集创建一个独立的Flink任务；

通过Flink任务消费消息队列中对应的明细数据，并基于指标数据对应的数据规范，对明细数据进行map操作；

对明细数据进行聚合操作，将得到的指标数据推送至消息队列中。