[发明专利]一种面向海洋大数据集群的日志存储方法及系统

说明书

本发明公开了一种面向海洋大数据集群的日志存储方法及系统，方法包括：获取与海洋大数据集群相关联的本地日志，通过解析获取关键数据，关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；对本地日志中的每条日志进行分析，以确定每条日志的存储类型；为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；接收针对于日志的查询请求，确定查询请求所涉及的日志的类型。

技术领域

本发明涉及海洋大数据管理技术领域，更具体地，涉及一种面向海洋大数据集群的日志存储方法及系统。

背景技术

近年来，国家将对海洋的研究开发利用和保护放在越来越重要的位置上，将海洋科技纳入国家发展战略，只有更好地了解海洋，才能更合理地开发利用海洋，才能更好地保护海洋。不过随着研究的深入，我们越来越清楚地认识到海洋之大，海洋之博，在这个研究过程之中，产生越来越多的数据，为了更好的存储数据，更快的计算数据，更便利的展示数据，就必然要结合当下比较流行的大数据技术，使用大数据技术来协助相关的研究工作。使用大数据技术，需要部署和维护用于处理大数据任务的服务器集群(简称大数据集群)，并通过集群管理软件分发任务、监控资源使用情况，通过集群服务器的协同工作，提高效率，就像我们的海洋大数据集群就是一个这样的服务器集群。在海洋大数据集群的管理和使用过程中，如何获取和维护整个集群的海量监控数据是一个不可避免的难题。同时，同一服务器上存在监控数据重复采集的问题，这从长远来看，造成了巨大的资源浪费。

海洋大数据集群的监控数据主要记录了集群中所有的服务器运行状态，具体包括服务器工作日志、服务器资源使用量监控数据、任务完成情况监控数据等几个部分。这些监控数据有不同的特征，根据其特征被分布在工作服务器或集中式任务调度节点上。

海洋大数据集群由相关主节点，以及大量的工作节点构成。运行状态监控数据记录了集群中所有服务器的实时运行情况，多由主节点采集和存储。服务器工作日志记录了服务器执行任务的详细信息，包含了程序级的调试数据、警告数据、错误数据等输出，多为文本形式且数据量较大，因此通常存放在服务器本地磁盘；在需要做日志分析的时候，日志分析工作通常也在服务器本地完成。服务器资源使用量监控数据记录了服务器的CPU、内存、磁盘、网络等主要资源的实时用量，为任务资源申请和调度提供依据。任务完成情况监控数据记录了某项大数据处理任务在工作节点的工作状态。综上所述，海洋大数据集群的监控数据表现多元化，其来源、数据量、数据语义各不相同，某些数据反映集群的长期工作状态，对其存储和处理具有重要的意义；而其他一些数据的价值较低，长期存放和处理的性价比不高。

本发明技术方案提供一种面向海洋大数据集群的日志存储方法，以实现对海洋大数据集群的日志进行存储的问题。

发明内容

本发明技术方案提供了一种面向海洋大数据集群的日志存储方法及系统，以解决如何对海洋大数据集群的日志进行存储的问题。

为了解决上述问题，本发明提供了一种面向海洋大数据集群的日志存储方法，所述方法包括：

获取与海洋大数据集群相关联的本地日志，对所述本地日志进行解析以获取关键数据，所述关键数据包括:服务器运行状态及资源使用情况、服务器当前任务执行情况、服务器历史任务执行情况以及报警信息文本或个数；

对本地日志中的每条日志进行分析，以确定每条日志的存储类型，所述存储类型包括：删除型、压缩型以及常用型；

为删除型的每条日志设置删除期限，将在删除期限期满时仍符合删除条件的日志进行删除；

设置压缩处理周期，并且每当日志存储系统运行时间达到压缩处理周期时，对日志存储系统中压缩型的每条日志进行压缩，并将经过压缩的日志移动到日志存储系统的历史存储区中；