[发明专利]日志文件的存储方法、装置、设备和存储介质

说明书

本申请提供一种日志文件的存储方法、装置、设备和存储介质，方法包括，从目标日志文件中采集日志数据；通过日志分析组件处理日志数据；判断当前索引是否因索引分片的数据量过大而处于不可用状态，当前索引指代当前用于存储目标日志文件的索引；若当前索引处于不可用状态，利用日志数据的名称和采集时间创建新的索引，并将日志数据存储在新的索引。本方案在存储过程中自动识别当前索引的索引分片的大小，当索引分片较大时自动建立新的索引来保存采集到的日志数据，从而避免出现超大索引分片。

技术领域

本发明涉及计算机技术领域，特别涉及一种日志文件的存储方法、装置、设备和存储介质。

背景技术

Elasticsearch(下文简称ES)是现有的一种开源的分布式搜索和数据分析引擎，它在存储文件时，会创建多个索引(index)，然后将文件保存在这些索引中。ES的一个索引相当于一个数据库，一个索引会划分为多个索引分片，每个索引分片均用于保存一定量的文件，多个索引分片分别保存在分布式系统的多个计算机节点中。

ES的索引模板(Elasticsearch Index Template)提供了一个复用机制，可以自动的创建索引，但在实际使用时，由于采用ES索引模板来自动创建索引，每个日志文件只能由一个索引来存储，并且索引包含的索引分片的数量需要用户预先指定。但在实际业务场景中，日志文件的数据量很难准确预估，可能出现一份日志文件过大，导致对应的索引的每个索引分片存储的数据量过大(超过ES官方建议的20GB至40GB这一数据量范围)，即出现超大分片，而超大分片的出现将对ES系统的稳定性和查询性能造成不良影响。

发明内容

基于上述现有技术的缺点，本申请提供一种日志文件的存储方法、装置、设备和存储介质，以解决Elasticsearch系统中索引分片的数据量过大的问题。

本申请第一方面提供一种日志文件的存储方法，包括：

从目标日志文件中采集日志数据；

通过日志分析组件处理所述日志数据；

判断当前索引处于可用状态或者不可用状态；其中，所述当前索引指代当前用于存储所述目标日志文件的索引；所述当前索引的索引分片的数据量不在预设的数据量范围内时，所述当前索引处于不可用状态；

若所述当前索引处于不可用状态，利用所述日志数据的采集项和采集时间创建新的索引，并将所述日志数据存储在所述新的索引。

本申请第二方面提供一种日志文件的存储装置，包括：

采集单元，用于从目标日志文件中采集日志数据；

处理单元，用于通过日志分析组件处理所述日志数据；

判断单元，用于判断当前索引处于可用状态或者不可用状态；其中，所述当前索引指代当前用于存储所述目标日志文件的索引；所述当前索引的索引分片的数据量不在预设的数据量范围内时，所述当前索引处于不可用状态；

创建单元，用于若所述当前索引处于不可用状态，利用所述日志数据的采集项和采集时间创建新的索引；

存储单元，用于将所述日志数据存储在所述新的索引。

本申请第三方面提供一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，具体用于实现本申请第一方面任意一项所提供的日志文件的存储方法。

本申请第四方面提供一种电子设备，包括存储器和处理器；

其中，所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序，具体用于实现本申请第一方面任意一项所提供的日志文件的存储方法。