[发明专利]一种大数据集群的信息存储查询方法及系统

说明书

技术领域

本发明涉及大数据信息技术领域，具体涉及一种大数据集群的信 息存储查询方法及系统。

背景技术

大数据是规模非常巨大和复杂的数据集，具有以下几个特性：一 是数据量巨大且持续快速增加；二是具有高速度的数据输入、输出流； 三是数据类型和来源多样化。在数据量庞大且急剧增加、日常业务分 析需求日趋复杂的背景下，数据梳理过程和信息挖掘过程十分复杂， 且对数据展现的速度、维度、精细度要求较高，传统数据处理方法的 实时性、高效性和交互性已经不能适应目前的需求。为此，海量的数 据的汇总、存储、历史信息查询等方面都需要新的大数据处理技术。

目前，对于大数据系统(Hadoop生态)服务器集群信息的统计分 析及汇总大多数采用人工汇总的方式，如人工执行各种命令或者借助 监控界面等来得到需要的信息。针对集群运行的历史信息，一般取决 于人的记忆，少有专门进行存储并分析。只有为数不多的如Cloudera Manager(简称CM)支持历史集群运行信息的查询。

然而，因服务器较多，部署软件种类较多以及规模较大，统计汇 总并分析整个集群的信息工作量很繁重，使用人工汇总的方式步骤繁 琐、耗费工时、效率低下。且可查询的信息时效性过低，历史信息难 以查询。对于可支持查询历史信息的CM，只能支持1个月的历史信息 查询，并且不能自定义查询自己想要的类型数据，展示信息量少。

发明内容

本发明要解决的技术问题是：解决现有技术中的主要采用人工汇 总的方式，且难以查询集群的历史信息的问题。

为实现上述的发明目的，本发明提供了一种大数据集群的信息存 储查询方法及系统。

依据本发明的第一方面，提供了一种大数据集群的信息存储查询 方法，包括：

自动定期获取大数据集群的运行数据，解析所述运行数据并存储；

根据查询要求，在所述存储的运行数据中查找并展示相应的所述 运行数据；

其中，所述查询要求包括：实时数据查询要求、历史数据查询要 求、自定义数据查询要求。

优选地，所述自动定期获取大数据集群运行数据，为通过至少一 个接口自动定期获取所述运行数据；

其中，从不同所述接口获取的所述运行数据的数据格式不同。

优选地，所述解析所述运行数据，包括：

根据所述运行数据的数据格式，过滤掉所述运行数据中不需要的 数据，得到过滤后的运行数据；

在所述过滤后的运行数据中提取有效字段。

优选地，所述解析所述运行数据之后，还包括对所述运行数据进 行序列化存储。

优选地，所述历史数据查询要求，包括：

按时间段查找相应所述运行数据的查询要求；或，

按历史信息时间轴查询相应所述运行数据的查询要求。

优选地，所述历史信息时间轴的长度根据存储能力而定。

优选地，所述自定义数据查询要求，为通过结构化查询语言编辑 的自定义数据查询要求。

优选地，还包括，对所述自定义数据查询要求进行解析。

优选地，所述展示相应的所述运行数据，是通过图表来展示的。

依据本发明的第二方面，提供了一种大数据集群的信息存储查询 系统，其特征在于，应用上述的信息存储查询方法，包括：

获取单元：用于获取所述运行数据；

数据处理单元：用于解析所述运行数据；

数据库单元：用于存储所述解析后的运行数据；

查询单元：根据所述查询要求，在数据库单元中查询相应的所述 运行数据；

展示单元：用于展示所述相应的运行数据；

其中，当所述查询要求为所述自定义数据查询要求时，所述系统 还包括自定义解析单元，用于解析所述自定义数据查询要求。