[发明专利]一种分布式的网络测量数据统计分析方法

说明书

技术领域

本发明属于网络通信领域，具体涉及一种分布式的网络测量数据统计分析方法。

背景技术

高速网络的数据采集分析是分析数据传输性能、诊断网络故障、判定分组传输服务质量的重要手段和方法之一。网络数据的被动测量和分析处理作为一种具有开销小、采集测量准确并且不影响网络既有用户业务等优点的网络测量方法而得到广泛应用。一般而言，网络被动测量方法通过在网络中部署探针设备和数据分析服务器设备实现。探针设备类似于公路上的监控摄像头，是连接到网络中需要监控和分析的热点位置，在不影响正常通信的情况下对通过的数据进行采集和处理的设备。数据分析服务器类似于城市中的交通管理中心的监控调度室，服务器实时搜集、分析、处理并向管理员呈现各个探针设备采集到的网络数据。被动测量方法在工作时首先由探针设备对通过的数据进行采集并将其原封不动地发送给数据分析服务器；数据分析服务器周期地汇总探针设备上报的原始数据并对其进行比对、分析和处理，将最终分析的结果呈现给网络管理人员。数据分析服务器呈现出的结果一般是关于全网时延、带宽和跳数等有关的网络性能指标。随着网络规模、探针数量以及网络上的数据流量的增大，传统的被动网络测量分析方法面临如下几个问题。

(1)传输带宽无法满足需求

随着网络业务流量的增大和探针数量的增加，采集的数据量可能达到几十TB的量级。如此巨量数据的实时汇总给网络传输带宽带来巨大的挑战。假设一次布置了50个探针设备规模的网络测量实例，每个探针采集1路G比特接口，则负责实时传输采集数据的网络应该具备至少50gbps的传送能力，这在实际网络中是不可想象的。

(2)集中式处理能力无法满足要求

随着网络业务流量的增大和探针数量的增加，对数据分析服务器的处理能力提出越来越高的要求，常见配置的服务器已经很难满足海量采集数据的处理需求。替换和升级数据处理服务器的成本越来越高，并且极为不便。另一方面，探针设备具备弱处理能力和低数据吞吐量(即流经每一个探针设备的数据流量相对于汇总到数据处理服务器的所有探针的原始数据而言非常少)的特征，而数据分析服务器具有强处理能力和高数据吞吐量的特征。

中国专利201220245806.3公开了一种分布式数据统计系统，用于均衡数据处理任务和提高数据处理效率；该系统采用标准HTTP协议，并且并未定义与网络测量相关的统计分析方法，不适合应用于对数据融合处理有较高要求的网络测量领域的分布式数据分析处理。

发明内容

本发明的目的在于提供一种分布式的网络测量数据统计分析方法，解决在大数据量和多探针设备的网络测量数据实时分析处理问题。

实现本发明目的的技术方案为：一种分布式网络测量数据统计分析方法,包括以下步骤：

步骤1，数据分析服务器下发流表；

步骤2，各个网络探针设备对流经本节点的局部数据进行预处理；

步骤3，数据分析服务器根据所搜集的各个探针设备的预处理结果进行融合处理。

与现有技术相比，本发明的显著优点为：

(1)网络探针设备除采集功能外还具备一定的存储和计算能力，通过调度服务的指令，对采集数据执行过滤、预处理、融合、存储、统计以及回调等操作，从而通过勤务网络(连接服务器和探针设备的网络)仅向数据分析服务器传输有限数据量，进而可以高效利用勤务网络的传输带宽。

(2)探针设备根据数据分析服务器下发的数据分析规则对采集的原始数据进行匹配、预处理和融合操作；操作完成后将前端处理结果和部分融合后数据通过勤务网发送给数据分析服务器，数据分析服务器接收到融合数据后对各探针汇总的数据预处理结果和融合数据进行融合处理并最终提交用户；通过分布式的两级处理方式，大大降低了勤务网的带宽压力。

(3)本发明将需要较高计算量和较大数据处理量的数据分析任务调度到多个网络探针设备中执行，从而达到将计算负载在全网计算节点中均衡的目标；例如：用户需要对采集数据中满足特定约束的数据进行统计分析，则数据分析服务器可以将数据流约束条件、实时性需求和统计指标等信息下发到指定的探针设备；网络探针设备则根据数据分析服务器下发的任务需求对采集数据进行实时流匹配、处理和统计并最终将处理结果回送数据分析服务器；本发明能够大大降低数据分析服务器的计算负担，均衡全网的计算开销。

附图说明

图1是本发明分布式网络测量数据统计分析方法示意图。

具体实施方式

结合图1，一种分布式网络测量数据统计分析方法,包括以下步骤：

步骤1，数据分析服务器下发流表；