[发明专利]一种多源异构数据融合的网络运维实时监控与分析呈现平台

摘要

本发明公开了一种多源异构数据融合的网络运维实时监控与分析呈现平台，对网络流量、网络行为、系统日志分别采用不同的分布式数据采集模块，采集流经各个网络设备的网络流量数据、不同网络设备的行为数据以及其系统日志数据；数据采集模块通过网络，包括带内网络和带外网络，将所采集的数据传输到消息队列中。本发明的系统平台能够提供大规模网络运维监控能力，实时准确地对网络流量、网络行为和设备日志进行采集、存储和分析，并提供路由还原和异常检测等功能，使得运维人员对于网络情况有更加直观的认识且能够及时发现网络异常。

主权项

一种多源异构数据融合的网络运维实时监控与分析呈现平台，其特征在于，对网络流量、网络行为、系统日志分别采用不同的分布式数据采集模块，采集流经各个网络设备的网络流量数据、不同网络设备的行为数据以及其系统日志数据；数据采集模块通过网络，包括带内网络和带外网络，将所采集的数据传输到消息队列中；流式处理模块对缓存在消息队列中的数据进行流水线处理，其能够完成数据整理、路由还原功能，并将处理后的数据存入内存数据库中，内存数据库能够提供高性能的数据读写能力；大数据处理模块定时轮询内存数据库，并采用分布式并行处理的方式，快速地对海量数据进行定制化处理；大数据处理模块同时将已完成的数据流数据传输到消息队列中；关系型数据库按照一定的时间间隔存储大量数据流的统计数据，并提供统计数据访问接口，以供前端呈现模块调用；采用分布式数据库存储来自消息队列的海量数据，分布式数据库依靠分布式文件系统的大容量和高可靠特性保证海量数据的安全存储；同时分布式数据库通过查询工具提供历史详细数据的查询功能，以供前端呈现模块调用。