[发明专利]一种面向实时大数据平台Storm的运行时三维可视化系统

说明书

技术领域

本发明涉及云计算、大数据计算、流式计算、数据可视化领域，具体涉及 到一种面向实时大数据平台Storm的运行时三维可视化系统。

背景技术

Storm云环境内部实时可视化对于感知云环境健康状态是及其重要的。

首先，Storm作为海量实时数据流处理平台，其必须保证高可获得性、高可 靠性和高使用性，挖掘Storm集群内部状态，并将其可视化对于保证高可获得 性和高可靠性是至关重要的。

其次，Storm云集群无论是从节点规模还是流数据规模而言，从任务到物理 节点的部署都具有高度分布式化的特性，这使得获取整个云环境的状态变得十 分困难。加之，三维可视化具有速度慢、开销大、可移植性差等特性，给面向 实时大数据平台Storm的运行时三维可视化系统的开发带来了诸多挑战。

发明内容

本发明提出一种面向实时大数据平台Storm的运行时三维可视化系统，解 决了现有技术中获取整个云环境的状态十分困难的问题。

本发明的技术方案是这样实现的：

一种面向实时大数据平台Storm的运行时三维可视化系统，周期性地与 Storm云环境主节点交互，感知集群节点个数和资源消耗、worker与任务线程到 Storm云的物理映射、每个任务资源消耗、拓扑结构的静态结构和动态属性的状 态，实现对Storm云环境内部运行状态的监控；同时，利用OpenGL在Java虚 拟机上实现的JOGL开源库来实现对所获得的状态的实时可视化。

可选地，Storm云环境上运行的Nimbus主节点为外界提供调用自身的API 接口，首先通过指定主节点IP和Nimbus进程所在端口开启远程过程调用客户 端，客户端访问物理集群的状态和业务拓扑的状态。

可选地，集群中的计算节点周期性地发送自己的状态到主节点上的Nimbus 进程，其保存着每个计算节点的状态和运行在计算节点上的拓扑的状态，连接 到Nimbus进程的客户端周期性地调用Nimbus提供的API接口来获取其保存的 状态，从而实现集群的状态感知。

本发明的有益效果是：

(1)具有资源消耗少的特点，不会与Storm集群运行的任务争抢资源。

(2)该系统在Java虚拟机上运行，但是其底层的三维显示是基于OpenGL 开发，通过JNI技术导入动态链接库，实现了可接受的响应速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种面向实时大数据平台Storm的运行时三维可视化系统的 拓扑映射图；

图2为本发明一种面向实时大数据平台Storm的运行时三维可视化系统示 意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种面向实时大数据平台Storm的运行时三维可视化系统， 首先，开启Storm实时云环境，并提交拓扑到集群；接下来，开启Storm部署状 态收集器；然后，开启三维可视化服务器；再然后，判断并更新Storm集群状 态，判断Storm部署状态是否为最新数据；最后，在三维空间中动态显示集群 的物理特性、部署状态以及任务的运行时状态。

下面结合说明书附图1和附图2对本发明的面向实时大数据平台Storm的 运行时三维可视化系统进行详细说明。