[发明专利]日志查询方法、装置、设备及存储介质

说明书

本发明实施例公开了一种日志查询方法、装置、设备及存储介质。该方法包括：在检测到用户输入目标查询语句时，将目标查询语句分解为多个子查询语句，目标查询语句为SPL查询语句；根据各子查询语句在目标查询语句中的位置，确定各子查询语句的类型，子查询语句的类型包括：并行类型和非并行类型；通过并行检索引擎，使用并行类型的子查询语句，对待处理日志数据进行并行检索，得到初步检索结果；通过中央汇聚引擎，使用非并行类型的子查询语句，对初步检索结果进行二次处理，得到与目标查询语句匹配的日志查询结果。本发明实施例的技术方案，实现了无需编写复杂的程序，根据SPL查询语句就能够对海量日志快速进行查询分析，得到日志查询结果。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种日志查询方法、装置、设备及存储介质。

背景技术

目前，日志数据可以用于故障排除、监控、安全、合规、电子取证等方方面面，具有巨大的分析价值。但随着大数据时代的来临，日志的数量和类型快速增长，对日志内容进行分析并追踪潜在的问题变得越来越困难。

现有技术中，业界通用的日志处理系统采用Hadoop分布式方案，需要使用者编写复杂的MapReduce程序，甚至需要编写多个MapReduce程序才能处理一次数据分析需求。在进行日志数据分析时，由于初始分析目标并不明确，需要多次试错才能分析成功，而每次试错都要重新编写程序，因此，传统的分析方法的时间成本和用户学习成本都比较高。

发明内容

本发明实施例提供一种日志查询方法、装置、设备及存储介质，以实现无需编写复杂的程序，根据搜索处理语言(Search Processing Language，SPL)查询语句就能够对海量日志快速进行查询分析，得到日志查询结果。

第一方面，本发明实施例提供了一种日志查询方法，包括：

在检测到用户输入目标查询语句时，将目标查询语句分解为多个子查询语句，目标查询语句为SPL查询语句；

根据各子查询语句在目标查询语句中的位置，确定各子查询语句的类型，子查询语句的类型包括：并行类型和非并行类型；

通过并行检索引擎，使用并行类型的子查询语句，对与目标查询语句匹配的待处理日志数据进行并行检索，得到初步检索结果；

通过中央汇聚引擎，使用非并行类型的子查询语句，对初步检索结果进行二次处理，得到与目标查询语句匹配的日志查询结果。

可选的，在检测到用户输入目标查询语句时，将目标查询语句分解为多个子查询语句，包括：

在检测到用户输入目标查询语句时，识别目标查询语句中的管道符，并将相邻两个管道符之间的数据作为一个子查询语句；

其中，对于各管道符，管道符左侧的子查询语句的查询结果，将作为管道符右侧的子查询语句的查询范围。

可选的，根据各子查询语句在目标查询语句中的位置，确定各子查询语句的类型，包括：

按照从左到右的顺序，查找第一个仅限中央汇聚引擎处理的目标子查询语句；

将目标子查询语句之前的子查询语句判定为并行类型，将目标子查询语句之后的子查询语句，包括目标子查询语句，判定为非并行类型。

可选的，通过并行检索引擎，使用并行类型的子查询语句，对与目标查询语句匹配的待处理日志数据进行并行检索，得到初步检索结果，包括：

将并行类型的子查询语句输入并行检索引擎，通过并行检索引擎，根据各子查询语句对日志数据库进行并行检索，得到与各子查询语句对应的查询结果；

通过并行分析引擎，对与各子查询语句的查询结果进行统计分析处理，得到与各子查询语句对应的初步检索结果。