[发明专利]一种日志检索系统、方法、装置、电子设备及存储介质

说明书

本申请提供了一种日志检索系统、方法、装置、电子设备及存储介质，其中，该系统包括：用户管理模块接收用户端发送的日志检索请求，可以将日志检索请求传输至日志索引存储模块，利用日志索引存储模块查找与日志检索请求匹配的服务器标识和日志时间戳，并将查找到的服务器标识和日志时间戳返回至用户管理模块，利用用户管理模块则可以将日志时间戳传输至与服务器标识对应的日志检索模块，并接收日志检索模块查找到的与日志时间戳匹配的日志记录，节省了磁盘存储资源的同时，提升了日志检索的效率。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种日志检索系统、方法、装置、电子设备及存储介质。

背景技术

随着云计算、移动互联网、物联网的迅速发展，大数据的时代已经来临。对大数据业务系统(如网约车打车服务系统)进行日志的采集、分析与检索操作，是对系统出现的问题进行分析的依据所在。

相关技术中比较常用的日志解决方案多采用ELK(Elasticsearch-Logstash-Kibana)架构，该ELK架构是指由Elasticsearch、Logstash和Kibana构建的系统，其中，ElasticSearch作为一个开源分布式搜索引擎，可以用于进行日志检索，Logstash可以用于进行日志搜集、过滤等，Kibana则可以用于日志展示。

然而，由于采用ELK架构的日志解决方案在进行日志检索之前，需要将大数据业务系统产生的所有日志数据均采集到ElasticSearch上，大量的日志数据存储不仅会对磁盘资源带来极大挑战，还会影响日志检索的效率，从而无法满足当前大数据业务系统的服务需求。

发明内容

有鉴于此，本申请的目的在于提供一种日志检索方法、装置、系统、电子设备及存储介质，利用索引集中式和日志分布式的联合存储方式，节省了磁盘存储资源的同时，提升了日志检索的效率。

主要包括以下几个方面：

第一方面，本申请提供了一种日志检索系统，所述系统包括：用户管理模块、日志索引存储模块和多个日志检索模块，每个所述日志检索模块分布式部署在对应的服务器上；

所述用户管理模块，用于接收用户端发送的日志检索请求，并将所述日志检索请求传输至所述日志索引存储模块；在获取到所述日志索引存储模块返回的与所述日志检索请求匹配的服务器标识和日志时间戳之后，将所述日志时间戳传输至与所述服务器标识对应的日志检索模块，并接收所述日志检索模块返回的日志记录；

所述日志索引存储模块，用于接收所述日志检索请求，查找与所述日志检索请求匹配的服务器标识和日志时间戳，并将查找到的服务器标识和日志时间戳返回至所述用户管理模块；

所述日志检索模块，用于在接收到来自所述用户管理模块的日志时间戳后，查找与所述日志时间戳匹配的日志记录，并将查找到的日志记录返回至所述用户管理模块。

在一些实施例中，所述日志检索模块，具体用于在接收到来自所述用户管理模块的日志时间戳后，确定与所述日志时间戳对应的目标日志分块；基于所述目标日志分块的预存块索引信息，确定与所述目标日志分块对应的至少一个目标压缩数据块；对确定的各个目标压缩数据块进行解压缩，并根据解压缩结果查找与所述日志时间戳匹配的日志记录。

在一种实施方式中，所述日志检索模块包括：

日志分块确定单元，用于在接收到来自所述用户管理模块的日志时间戳后，确定与所述日志时间戳对应的目标日志分块；

压缩数据块确定单元，用于基于所述目标日志分块的预存块索引信息，确定与所述目标日志分块对应的至少一个目标压缩数据块；

日志记录检索单元，用于对确定的各个目标压缩数据块进行解压缩，并根据解压缩结果查找与所述日志时间戳匹配的日志记录。

在另一种实施方式中，所述日志检索模块还包括：