[发明专利]一种基于大数据的服务器运行日志结构化存储方法

说明书

本发明提供一种基于大数据的服务器运行日志结构化存储方法，按照统一的时间点和时间间隔采集集群服务器的日志文件数据并发送给大数据平台，采集的同时制作时间戳；根据时间戳制作集群服务器数据的时间维度表；大数据平台将接收到的日志文件数据后经MAP处理成Key‑Value格式；然后进行多维度的多层嵌套，并将时间标签作为最外层维度，最后再进行分布式存储；查询时通过大数据分布式计算引擎先根据时间标签和时间维度表在时间维度上查询以获得满足条件的集群服务器的日志文件数据。本发明基于大数据平台实现分布式存储和计算，通过MAP操作实现数据的结构化，从而有效解决服务器集群日志文件不断膨胀的海量数据的存储问题，且支持SQL、NoSQL查询方式。

技术领域

本发明涉及一种服务器运行日志的存储方法，特别涉及一种基于大数据的服务器运行日志的存储方法。

背景技术

服务器的环境中存在日志文件数据存储的问题，如果每秒钟采集服务器性能指标，一台服务器一天日志量约为260MB，一台服务器一年的日志量约为100GB，如果有50台服务器，则一年的日志量将是个海量数据。而现有服务器日志的存储方法是通过部署运维监控软件收集服务器的运行日志数据以纯文本格式存储到本地文件系统或者关系型数据库系统，都难以解决日志文件存储数据量庞大的问题，传统的方案只能定时删除日志文件，并且海量数据的访问效率极慢，无法实现数据的访问和分析。

发明内容

本发明要解决的技术问题，在于提供一种基于大数据的服务器运行日志结构化存储方法，基于大数据平台实现分布式存储和分布式计算存储，通过MAP操作实现服务器运维日志数据的结构化，可以实现SQL、NoSQL等常用查询方式。

本发明是这样实现的：一种基于大数据的服务器运行日志结构化存储方法，

按照统一的时间点和时间间隔采集集群服务器的日志文件数据并发送给大数据平台，采集的同时制作时间戳；根据时间戳制作集群服务器数据的时间维度表；

大数据平台将接收到的日志文件数据后经MAP处理成Key-Value格式；

通过大数据平台将Key-Value格式的日志文件数据进行多维度的多层嵌套，并将时间标签作为最外层维度，最后再进行分布式存储；

查询时通过大数据分布式计算引擎先根据时间标签和时间维度表在时间维度上查询以获得满足条件的集群服务器的日志文件数据。

进一步的，所述集群服务器上部署有时间同步器，实现每台服务器的数据采集器按照统一的时间点和时间间隔采集数据。

进一步的，所述日志文件数据经多维度的多层嵌套后具有以下特点：数据多层嵌套存储了集群所有服务器的性能指标数据、并且实现时间序列的数据流Streaming Data、便于机器学习使用时间序列。

进一步的，所述查询包括SQL查询和NO-SQL查询；

所述SQL查询是：通过SQL直接查询分析数据，通过Key-value和SQL的表列字段和行数据实现映射关系；

所述NO-SQL查询是：通过NoSQL数据分析查询，通过多层嵌套关系和NoSQL的行键、列簇、列信息实现映射关系。

本发明具有如下优点：

1、通过大数据平台进行分布式存储和分布式计算，从而有效解决服务器集群日志文件不断膨胀的海量数据的存储问题；

2、将数据进行特定格式化存储，转换为的Key-Value数据的特定结构化的存储格式，并且按照特定规范进行数据的嵌套，实现数据的结构化存储，便于兼容多个其他数据引擎数据SQL查询或者NoSQL的查询，为后续的数据分析访问和机器学习提供了数据可用性。

具体实施方式

本发明的基于大数据的服务器运行日志结构化存储方法，包括：