[发明专利]日志数据处理、配置方法、装置及存储介质

说明书

本发明提供一种日志数据处理、配置方法、装置及存储介质，通过在接收到日志数据处理请求时，由于分布式数据库节点中的日志数据按照预设日志数据格式进行配置的，并数据结构包含的据预设日志字段和预设日志证据格式均是基于同一指定配置信息配置得到的，因此这能够实现快速地将读取到的指定日志数据配置到上述数据结构，得到结构化的日志数据。本发明技术方案由各分布式数据库节点完成日志数据结构化转换不需要中间处理框架，转换效率高，体验度更高。

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志数据处理、配置方法、装置及存储介质。

背景技术

在计算机领域，日志数据是一个记录了发生在运行中的操作系统或其他软件中的事件的文件。例如，在分布式数据库领域，日志数据可以承担数据备份、同步作用，日志数据的重要性不可忽略。

如何对分布式数据库中产生的日志数据进行高效处理，以为后续使用该日志数据执行业务行为，成为业界需要考虑的一个课题。

发明内容

本发明提供一种日志数据处理、配置方法、装置、设备及计算机可读存储介质，用以解决现有技术中分布式数据库中日志数据处理手段低效的缺陷，实现对日志数据的高效处理。

第一方面，本发明提供一种日志数据处理方法，应用于分布式数据库节点，包括：

接收日志数据处理请求；

根据所述日志数据处理请求，从日志文件中读取依据预设日志数据格式配置的指定日志数据，所述日志文件中的日志数据是按照所述预设日志数据格式配置的；

使用读取的所述指定日志数据配置包含预设日志字段的数据结构，得到结构化的日志数据，所述预设日志字段和预设日志数据格式均是基于指定配置信息配置得到的。

在一个实施例中，所述日志数据处理请求中包含指定时间段，所述指定时间段不超过预设时间范围，则从日志文件中读取依据预设日志数据格式配置的指定日志数据，包括：

从所述日志文件中读取依据预设日志数据格式配置的位于所述指定时间段内的指定日志数据。

在一个实施例中，如果所述日志数据处理请求中未包含指定时间段，则从日志文件中读取依据预设日志数据格式配置的指定日志数据，包括：

从所述日志文件中读取依据预设日志数据格式配置的位于预设时间范围内的指定日志数据。

在一个实施例中，从日志文件中读取依据预设日志数据格式配置的指定日志数据，包括：

从所述分布式数据库节点对应的缓存中提取所述日志文件；

从所提取的所述日志文件中读取依据预设日志数据格式配置的指定日志数据。

在一个实施例中，还包括：

将所述结构化的日志数据存储到所述分布式数据库节点对应的缓存中。

在一个实施例中，还包括：

将所述缓存中早于所述结构化的日志数据的历史结构化的日志数据删除。

在一个实施例中，使用读取的所述指定日志数据配置包含预设日志字段的数据结构，包括：

将读取的所述指定日志数据依次填充到所述数据结构中对应的所述预设日志字段。

在一个实施例中，如果所述日志数据处理请求为日志数据查询请求，还包括：

根据所述日志数据查询请求查询所述结构化的日志数据；

将查询结果发送给所述日志数据查询请求的请求方。

在一个实施例中，所述日志数据处理请求是基于SQL语句生成的。