[发明专利]一种面向海量数据的并行处理方法及系统

说明书

本发明涉及一种网络管理中面向海量数据的并行处理方法，尤其是一种提高带宽和资源利用率的任务调度方法。

背景技术

随着网络技术的发展和网络应用的普及，用户对网络服务的性能要求也越来越高。为了更好地满足用户的需求，向用户提供高质量的服务，就必须保证网络服务的质量。为此，必须要对网络中各个设备的运行状况进行实时监控，及时发现网络中设备的故障，从而采取相应的措施以维护网络的稳定。

为了监控网络设备的运行状况，需要实时采集网络中各个设备的运行参数，并发送到主控计算机，由主控计算机对网络设备的运行参数进行分析，确定设备是否发生故障。

现有技术中，通常由主控计算机来分配采集任务，采集机实时采集网络设备的各项运行参数，其中每个任务需要处理多个采集对象（待采集设备），每个采集对象包括多个采集指标（不同的参数）。然而网络规模越来越庞大，在网络管理中需要采集成千上万的设备，每个设备包括多个采集指标，因而需要采集的数据是海量的，如果多个采集任务在同一时间执行，将造成瞬时占用的带宽过大，同时如果并行执行的采集子任务数过少，虽然可以减少带宽的占用，但又会浪费采集机的计算资源，因此如何既避免占用过多的带宽资源又充分利用采集机的计算资源是本发明要解决的技术问题。

发明内容

本发明的目的是对采集任务进行合理调度以有效利用网络带宽，以及充分利用计算资源进行数据采集。

为实现上述目的，本发明提出了如下解决方案：

根据第一方面，本发明实施例提出一种网络管理中面向海量数据的并行处理系统，其特征在于包括以下模块：采集任务更新模块，用于定时从数据库中取出待采集任务，并将待采集任务插入任务采集队列，等待采集任务的执行；采集任务调度模块，用于从任务采集队列中取出任务描述，根据带宽资源利用情况和/或计算资源使用情况将任务进行子任务划分，将子任务映射到采集任务处理单元等待子任务的执行；成数据采集任务，将采集的数据加入数据缓存队列，并进行并行数据处理，将处理好的数据加入内存数据库；物理/内存数据库管理模块，用于将内存数据库中的数据定期同步到物理数据库中。

根据另一方面，本发明实施例提出一种网络管理中面向海量数据的并行处理方法，其特征在于包括以下步骤：（1）采集任务更新步骤，定时从数据库中取出待采集任务，并将待采集任务插入任务采集队列，等待采集任务的执行；（2）采集任务调度步骤，从任务采集队列中取出任务描述，根据带宽资源利用情况和/或计算资源使用情况将任务进行子任务划分，将子任务映射到采集任务处理单元等待子任务的执行；（3）采集任务处理，执行各个子任务以完成数据采集任务，将采集的数据加入数据缓存队列，并进行并行数据处理，将处理好的数据加入内存数据库；（4）物理/内存数据库管理步骤，将内存数据库中的数据定期同步到物理数据库中。

附图说明

图1为本发明系统运行硬件架构图；

图2为本发明并行处理系统结构图；

图3为本发明采集任务更新过程；

图4为本发明采集任务处理过程。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

由于采集的数据量大，为了提高整个系统的执行效率，本发明的海量数据并行处理系统可以运行在多台采集机上并行执行，其执行的硬件架构如附图1所示，其中：

主控机——用来分配采集任务、汇总采集结果并展示给用户，其包括多个物理处理单元，可以并行执行多个采集任务；

采集机——用来对监控的设备进行数据采集，采集的数据包括设备的多个参数指标，采集机包括多个物理处理单元，每个指标的采集工作被指派成一个子任务，由一个物理处理单元完成。

本发明中每个采集任务需要处理多个采集对象（待采集设备），每个采集对象包括多个采集指标（不同参数），每个指标的采集工作则被指派成一个子任务由一个物理处理单元完成。子任务的工作主要是定期通过网络将数据从底层设备上采集出来。

实施例一

如附图2所示,本发明的面向海量数据的并行处理系统包括：采集任务更新模块、采集任务调度模块、采集任务处理模块、物理/内存数据库管理模块、监控模块、系统命令监听模块、日志管理模块。下面将逐一介绍各个模块的工作过程：

（1）采集任务更新模块

采集任务更新模块，用于定时从数据库中取出待采集任务，并将待采集任务插入任务采集队列，等待采集任务的执行。

进一步优选方案为：