[发明专利]一种面向实时大数据平台Storm的属性抽取系统

摘要

本发明提出了一种面向实时大数据平台Storm的属性抽取系统，包括：搭建Storm集群环境；开启Storm集群环境；开发拓扑结构，上传拓扑任务到Storm集群；开启代码注入器，动态注入监控代码；启动监控设备上的监控器，感知Storm集群自身对象以及拓扑结构中的对象；收集Storm环境属性，存入存储设备。本发明开发了感知Storm云平台环境属性的一套具有高使用性的API，使其能够获取集群环境的状态，同时保证集群的可获得、可靠性和性能；建立了Storm运行时状态下的E‑R模型，使其能够为资源调度、包括从线程级别到虚拟机级别的瓶颈检测、集群实时环境可视化等需求提供可靠的数据模型依据。

主权项

1.一种面向实时大数据平台Storm的属性抽取系统，其特征在于，包括：搭建Storm集群环境；开启Storm集群环境；开发拓扑结构，上传拓扑任务到Storm集群；开启代码注入器，动态注入监控代码；启动监控设备上的监控器，感知Storm集群自身对象以及拓扑结构中的对象；收集Storm环境属性，存入存储设备；为了获取Storm某一个拓扑中所有任务的属性，Storm的一个拓扑结构中的所有螺栓和喷口需要分别继承框架中的BaseMetricBolt和BaseMetricSpout，同时需要在上传拓扑之前开启监控服务器，其开启入口在TopoMetricProtocolImpl中；BaseMetricBolt和BaseMetricSpout分别继承于BaseRichBolt与BaseRichSpout，CpuMetric与TrafficMetric分别实现了IMetric。