[发明专利]日志存储方法、日志检索方法、装置、设备及存储介质

说明书

本申请公开了一种日志存储方法、日志检索方法、装置、设备及存储介质，方法包括获取词汇信息与日志标识之间的第一对应关系，词汇信息为对日志记录进行分词得到，日志标识为日志记录的标识信息；根据第一对应关系，将日志记录持久化到目标存储空间，目标存储空间包括目标索引文件和日志文件，目标索引文件存储有第一对应关系，日志文件存储有日志记录。本申请通过在建立第一对应关系时，对日志记录进行分词，以能够将日志内容和词汇信息持久化至目标存储空间，从而作为后续全文检索的依据，使得日志工具支持全文检索。

技术领域

本申请涉及计算机技术领域，尤其涉及一种日志存储方法、日志检索方法、装置、设备及存储介质。

背景技术

在云原生技术框架下，通过常用容器方式部署服务。针对容器产生的日志，目前主要采用Elasticsearch工具或Loki工具进行存储和查询。但是，Elasticsearch工具基于文档的索引方式并不适合时序日志场景，而且其基于Java语言编写，需要将大量索引常驻于内存，导致其资源占用率非常高。而Loki工具基于标签的索引方式无法支持全文检索。

发明内容

本申请提供了一种日志存储方法、日志检索方法、装置、设备及存储介质，以解决当前针对日志工具存在无法支持全文检索的技术问题。

为了解决上述技术问题，第一方面，本申请提供了一种日志存储方法，包括：

获取词汇信息与日志标识之间的第一对应关系，词汇信息为对日志记录进行分词得到，日志标识为日志记录的标识信息；

根据第一对应关系，将日志记录持久化到目标存储空间，目标存储空间包括目标索引文件和日志文件，目标索引文件存储有第一对应关系，日志文件存储有日志记录。

本申请通过获取日志标识与日志记录分词得到的词汇信息之间的第一对应关系时，以能够将日志内容和词汇信息持久化至目标存储空间，从而作为后续全文检索的依据，使得日志工具支持全文检索。

在第一方面的一些实现方式中，获取词汇信息与日志标识之间的第一对应关系，包括：

建立日志标识与序列标识之间的第二对应关系，序列标识为日志流的标识信息，日志流包括多个日志记录；

对日志记录进行分词，得到多个词汇信息；

根据词汇信息和第二对应关系，生成词典倒排表，词典倒排表存储有第一对应关系。

在本实现中，通过对日志记录进行分词，并结合第二对应关系，建立词典倒排表，以得到日志流、日志记录和词汇信息之间的对应关系，从而作为全文检索时的索引关系链，实现全文检索。

在第一方面的一些实现方式中，建立日志标识与序列标识之间的第二对应关系，包括：

对日志流的第一标签信息进行哈希运算，得到日志流的序列标识；

将序列标识和日志标识添加至预设序列表，生成内存序列表，内存序列表存储有第二对应关系。

在本实现中，通过哈希运算，保证日志流的序列标识的唯一性，避免出现重复的序列标识而导致后续检索出错，提高检索准确度。

在第一方面的一些实现方式中，方法，还包括：

获取第二标签信息与日志标识之间的第三对应关系，第二标签信息为日志记录的标签信息，目标索引文件还存储有第三对应关系。

在本实现中，通过获取第三对应关系，以作为后续标签检索的依据，使得日志工具能够同时支持全文检索和标签检索。

在第一方面的一些实现方式中，根据第一对应关系，将日志记录持久化到目标存储空间，包括：