[发明专利]用于IP网络的云测量装置和测量方法

说明书

技术领域

本发明涉及一种用于IP网络的云测量装置和方法，属于计算机软件技术中的涉及云计算的数据分析和分布式数据采集的技术领域。

背景技术

首先，介绍本发明技术方案中涉及的相关技术术语的涵义：

网络测量：它是遵照设定的方法和技术，利用软件和硬件工具测试和验证表征网络性能指标的一系列活动的总称。包含以下三个要素：(1)测量对象：包括被测量的节点和链路，主要测量能够反映网络性能的一些指标，例如链路的传输时延、带宽、丢包率等。(2)测量环境：包括测量点的选取、测量时间的确定、测量设备、测量链路的类型等。(3)测量方法：针对某一具体的网络行为指标，选取合适的测量方法。

云计算：从网格计算发展而来，由大量的计算机集群使用虚拟机方式，通过高速互联网络互连而组成大型的虚拟资源池。这些虚拟资源可自主管理和配置，采用数据冗余的方式保证虚拟资源的高可用性，并具有分布式存储和计算、高扩展性、高可用性、用户友好性等特征。

Hadoop：是目前最成熟的云计算开源结构，它是基于Google云计算平台内部原理实现的、采用分布式系统架构的开源云计算平台，由Apache基金会开发。

HDFS：Hadoop文件系统(Hadoop Distributed File System)的缩写，是分布式计算的存储基础。HDFS部署在低廉的硬件上，具有高容错性特点，能够提供高传输率访问应用程序的数据，特别适合具有超大数据集的应用程序。

Mapreduce：是由Map和Reduce组成的简化的并行计算模型，分别执行任务的分解和对结果的汇总操作；能够提供强大的计算能力，用于对大规模数据集进行并行计算。

HBase：作为Apache的Hadoop项目的子项目，它是一种构建于HDFS的分布式、面向列的存储系统，适用于实时读写、随机访问超大数据集。

简单网络管理协议SNMP(Simple Network Management Protocol)：是目前TCP/IP网络中应用最广泛的网络管理协议，其基本功能包括监视网络性能、监测分析网络差错和配置网络设备等。

瓶颈节点：在一个较长时间段内，其处理能力或者某个接口处于饱和状态的执行路由功能的网络节点。

瓶颈链路：在一个较长时间段内，其带宽使用率处于饱和状态的网络传输链路。

负载均衡：建立在现有网络结构上，提供一种廉价、有效、透明的扩展网络设备和服务器的带宽与增加吞吐量的方法，从而加强网络数据处理能力，提高网络的灵活性和可用性。

现在，随着Internet技术和网络业务的飞速发展，用户对IP资源的需求空前增长，网络变得日益复杂，不断增加的用户和应用导致网络负担沉重，从而引起网络性能下降，这就需要提取和分析网络的性能指标。因此，网络性能数据对于分析网络行为、解决网络故障、预测新业务等都具有很重要的参考价值。

如何处理海量数据和监控网络设备的运行状况是网络测量的重要研究点。随着云计算技术的推广，利用云计算平台强大的数据处理能力来处理海量数据，已经成为当前网络测量体系中数据管理层和数据分析层的研究与发展趋势。云计算是一种新兴的商业计算模型，它是藉由网络把多个成本相对较低的计算资源进行统一管理和调度，从而构成一个计算资源池，能够向用户提供透明、强大的计算能力。云计算平台则将计算任务分布在资源池的不同计算单元上，使各种应用系统能够根据需要获取计算能力、存储空间和各种软件服务。

现有技术中，网络测量的数据分析操作大多采用集中管理的平台，由独立的一个管理平台同时对多个测量探针的海量测量数据进行分析与处理。当该数据分析平台在处理海量测量数据时，因其计算处理能力有限，很容易成为系统的瓶颈。许多分布式测量平台是构建在不可靠的廉价计算机或小型嵌入式系统上的集群系统，由于其节点数量众多，集群中的节点失效成为常态而不是异常；而且，目前的分布式测量平台还缺乏有效的故障恢复机制。当数据分析平台发生故障失效后，就会造成测量探针的测量数据丢失，对系统的可靠性造成严重影响。再者，目前的分布式测量平台也缺乏有效的负载均衡策略，测量探针将测量结果数据上传到设定的数据分析平台时，无法根据网络状态和数据分析平台的负载情况自组织地动态生成网络拓扑，这就非常容易地使得网络中的数据流量分布不均衡，某些数据分析平台就会因负载过重而造成单点故障，无法为用户提供完全透明的服务。

发明内容