[发明专利]一种基于大数据的服务器运行日志结构化存储方法

权利要求书

1.一种基于大数据的服务器运行日志结构化存储方法，其特征在于：

按照统一的时间点和时间间隔采集集群服务器的日志文件数据并发送给大数据平台，采集的同时制作时间戳；根据时间戳制作集群服务器数据的时间维度表；

大数据平台将接收到的日志文件数据后经MAP处理成Key-Value格式；

通过大数据平台将Key-Value格式的日志文件数据进行多维度的多层嵌套，并将时间标签作为最外层维度，最后再进行分布式存储；所述日志文件数据经多维度的多层嵌套后具有以下特点：数据多层嵌套存储了集群所有服务器的性能指标数据、并且实现时间序列的数据流Streaming Data、便于机器学习使用时间序列；

查询时通过大数据分布式计算引擎先根据时间标签和时间维度表在时间维度上查询以获得满足条件的集群服务器的日志文件数据；所述查询包括SQL查询和NO-SQL查询；

所述SQL查询是：通过SQL直接查询分析数据；

所述NO-SQL查询是：通过NoSQL数据分析查询，通过多层嵌套关系和NoSQL的行键、列簇、列信息实现映射关系。

2.根据权利要求1所述的一种基于大数据的服务器运行日志结构化存储方法，其特征在于：所述集群服务器上部署有时间同步器，实现每台服务器的数据采集器按照统一的时间点和时间间隔采集数据。