[发明专利]一种面向实时大数据平台Storm的属性抽取系统

说明书

本发明提出了一种面向实时大数据平台Storm的属性抽取系统，包括：搭建Storm集群环境；开启Storm集群环境；开发拓扑结构，上传拓扑任务到Storm集群；开启代码注入器，动态注入监控代码；启动监控设备上的监控器，感知Storm集群自身对象以及拓扑结构中的对象；收集Storm环境属性，存入存储设备。本发明开发了感知Storm云平台环境属性的一套具有高使用性的API，使其能够获取集群环境的状态，同时保证集群的可获得、可靠性和性能；建立了Storm运行时状态下的E‑R模型，使其能够为资源调度、包括从线程级别到虚拟机级别的瓶颈检测、集群实时环境可视化等需求提供可靠的数据模型依据。

技术领域

本发明涉及云计算大数据计算、分布式计算、流式计算领域，具体涉及到一种面向实时大数据平台Storm的环境属性抽取系统。

背景技术

实时云计算要求集群环境能面对数据结构动态变化且实时的海量数据，这就要求集群环境具有高可用性、高可靠性和高使用性。而高可用性和高可靠性能够得到有力保证需要实时监控集群的运行状态，但是集群由于任务数量庞大、节点数量繁多以及网络负载重等问题造成监控难于实施，加之监控本身需要消耗计算、存储和网络资源，使得海量实时集群环境更像是一种黑盒，难以对其进行学习认知。

Storm是一种面向海量实时流运算的计算平台。如图3所示，在一个拓扑结构中，喷口代表整个拓扑结构的数据入口，实时流数据被封装在元组中，通过流再流向下一层螺栓，其负责进行相应的应用计算。当元组被最后一层螺栓处理之后，整个元组在整个拓扑中的流动完成。在一个Storm实时云平台中，允许有多个拓扑结构的存在，并且能允许其同时进行流式计算，这也增加了监控的难度。

发明内容

为解决现有技术的不足，本发明提出了一种面向实时大数据平台Storm的属性抽取系统，在感知Storm计算集群中起到了基础性的作用，能够为以后的集群节点、任务以及虚拟机等对象的感知学习打下数据基础。

本发明的技术方案是这样实现的：

一种面向实时大数据平台Storm的属性抽取系统，包括：

搭建Storm集群环境；开启Storm集群环境；开发拓扑结构，上传拓扑任务到Storm集群；开启代码注入器，动态注入监控代码；启动监控设备上的监控器，感知Storm集群自身对象以及拓扑结构中的对象；收集Storm环境属性，存入存储设备。

可选地，在开发过程中的静态属性，包括远程调用的实现、低耦合的属性提取机制的实现以及与Storm的代码+融合的实现。

可选地，面向实时大数据平台Storm的属性抽取系统的存储结构，包括任务层面、拓扑层面以及集群层面。

可选地，为了获取Storm某一个拓扑中所有任务的属性，Storm的一个拓扑结构中的所有螺栓和喷口需要分别继承框架中的BaseMetricBolt和BaseMetricSpout，同时需要在上传拓扑之前开启监控服务器，其开启入口在TopoMetricProtocolImpl中。

可选地，BaseMetricBolt和BaseMetricSpout分别继承于BaseRichBolt与BaseRichSpout，CpuMetric与TrafficMetric分别实现了IMetric。

可选地，对于一个Storm的拓扑结构，如果需要所述面向实时大数据平台Storm的环境属性抽取系统来进行对属性的提取，需要在拓扑结构中另外新开一个计算任务，所述计算任务专门用来获取Storm实时平台中对应的拓扑结构中的每一个计算任务的属性。

可选地，所述新的计算任务就是TopologyMetricsConsumer类的一个实例，其继承于Storm实时框架内部的IMetricsConsumer。