[发明专利]一种清理维护elasticsearch日志索引文件的方法及系统

说明书

本发明涉及计算机技术领域，公开了一种清理维护elasticsearch日志索引文件的方法及系统，本方法包括步骤：S1：将日志索引文件按照文件名称中的分类进行排序，并将优先级高的分类日志索引文件排在前面；S2：将步骤S1中排序后的日志索引文件按照日期再进行排序，并将日期早的日志索引文件排在前面；S3：按照预设第一删除流程，对步骤S2中不符合预设第一删除流程的日志索引文件进行筛选并删除。本方法通过按照预设的删除流程，将分类优先级低的日志数据尽量优先保留，以此确保elasticsearch使用的硬盘空间不会耗尽，维护正常日志数据存储的需要。

技术领域

本发明涉及计算机技术领域，尤其涉及一种清理维护elasticsearch日志索引文件的方法及系统。

背景技术

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，便于与企业应用进行集成，是当前流行的企业搜索引擎，能够满足实时搜索，稳定，可靠，快速等要求。但是，由于Elasticsearch底层实现的原因，当索引文件过大，需要大量删除索引时，需要很多索引文件的底层操作，造成了这一过程需要耗时比较长，往往对应用造成很大的影响。

在当前的IT运维领域，基于ELK(ElasticSearch+Logstash+Kibana)平台的日志分析和监控工具被越来越多的运维人员使用。由于该系统的特殊性与所监控的系统的规模，往往会有大量的日志文件产生，并对其时效性要求较高。因此在数据量比较大并且增量数据也很多的情况下，索引文件就会很大，就会给索引与查询带来性能上的影响并对存储空间造成了一定的压力。在查询日志的过程中，一般只关注近期的数据，历史数据可以删除。

Elasticsearch是常用的日志数据存储的计算机应用，所有通过其存储的日志数据，都记录在指定的文件中，该类文件被称为日志索引文件，而该类文件会占用硬盘空间。由于计算机硬盘空间容量有限，如不定期删除硬盘空间中的日志索引文件，最终会导致硬盘空间耗尽，Elasticsearch无法正常进行日志数据的存储。

目前的日志索引文件删除方法中，仅考虑将同日产生的日志数据存储在同一日志索引文件中，并以日志产生的日期来对日志索引文件名称进行命名。在删除日志索引文件时，定义了一个日期规则，删除当日N天前的日志索引文件。该方法没有对日志数据进行分类，可能导致更重要分类的日志数据被过早删除；另由于计算机应用输出日志数据时并不是性线产生的，而是由当日计算机应用被使用的频率决定，这会导致某日计算机应用使用频率过高，产生的日志数据很大，迅速将硬盘空间耗尽，进而导致Elasticsearch无法正常进行日志数据存储。

发明内容

针对上述现有技术的现状，本发明所要解决的技术问题在于提供一种清理维护elasticsearch日志索引文件的方法及系统，按照预设的删除流程，将分类优先级低的日志数据尽量优先保留，以此确保elasticsearch使用的硬盘空间不会耗尽，维护正常日志数据存储的需要。

本发明一种清理维护elasticsearch日志索引文件的方法及系统，具体的包括以下技术方案：

一种清理维护elasticsearch日志索引文件的方法，包括步骤：

S1：将日志索引文件按照文件名称中的分类进行排序，并将优先级高的分类日志索引文件排在前面；

S2：将步骤S1中排序后的日志索引文件按照日期再进行排序，并将日期早的日志索引文件排在前面；

S3：按照预设第一删除流程，对步骤S2中不符合预设第一删除流程的日志索引文件进行筛选并删除；

S4：按照预设第二删除流程，对步骤S3中不符合预设第二删除流程的日志索引文件进行再次删除，直到实际硬盘空间剩余量比例值满足设置的硬盘空间剩余量比例值。