[发明专利]分布式日志的搜索方法和装置

说明书

技术领域

本发明涉及计算机信息技术领域，特别是指一种分布式日志的搜索方法和装置。

背景技术

云计算环境中分布式部署了大量的物理设备、业务系统，同时，也部署了运维，安全管理等的平台监控、管理系统，日志信息成为平台监控、管理的重要手段，海量的、来自不同设备、系统的分布式日志信息需要被多个系统使用，平台中一旦设备出现问题，日志信息就成为排查故障，预防故障的重要手段。

由于云计算数据中心内物理设备、业务系统的数据很多，不同设备、系统使用不同协议产生自身的日志信息，目前的一种日志信息搜索与采集的方法，流程如图1所示，包括如下步骤：

S101：将不同来源的日志信息存储在存储系统中，将不同类型及不同来源的日志信息进行解析，保存成为统一字符编码的日志文件。

S102：对统一字符编码的日志文件进行切分。

S103：对切分后的日志信息进行索引操作，根据日志内的关键属性，日志搜索系统从非结构化日志数据中提取数据，并重新组织成为日志信息索引。

S104：根据形成的日志信息索引进行日志检索，得到所需要的日志信息。

在实际应用中，本发明的发明人发现，现有的日志信息搜索方法具有如下缺点：

由于保存的日志文件均统一字符编码，无法保留原始日志文件，而原始日志中不符合正则表达式匹配的日志行则被丢弃，因此，保存下来的可能只是部分的日志信息；此外，保存的统一字符编码的日志文件是一堆Josn格式的文本，技术人员无法阅读，不利于技术人员根据搜索结果快速判断故障。

发明内容

有鉴于此，本发明的目的在于提出一种分布式日志的搜索方法和装置，可以基于保存的原始日志文件进行搜索，避免日志信息在保存过程中被丢弃，且搜索出来的日志技术人员可以直接阅读，便于技术人员根据搜索结果快速作出判断。

基于上述目的本发明提供一种分布式日志的搜索方法，包括：

确定用户选择的指标筛选器的模式；

接收用户输入的基于该模式的筛选条件；

运行所述模式的指标筛选器，所述指标筛选器根据所述筛选条件对采集于分布式网络中的日志进行搜索，得出符合条件的日志。

其中，所述指标筛选器的模式包括：

字词匹配模式；

空格分隔的日志事件的值匹配模式；

属性标记的日志事件的值匹配模式。

其中，所述指标筛选器的模式为字词匹配模式时，所述筛选条件包括：

一个或多个用户输入的待匹配的字或词。

其中，所述指标筛选器的模式为空格分隔的日志事件的值匹配模式时，所述筛选条件包括：

以特殊字符分隔的多个日志事件的属性名称，一个或多个日志事件的取值，以及同一个日志事件的取值和属性名称之间的运算符。

其中，所述指标筛选器的模式为空格分隔的日志事件的值匹配模式时，所述筛选条件包括：

以特殊字符分隔的一个省略符号，一个或多个日志事件的属性名称，一个或多个日志事件的取值，以及同一个日志事件的取值和属性名称之间的运算符；

其中，所述省略符号位于各日志事件的属性名称之前，或位于各日志事件的属性名称之后，或位于两个各日志事件的属性名称之间。

其中，所述指标筛选器的模式为属性标记的日志事件的值匹配模式时，所述筛选条件包括：

至少一个属性匹配单元；在一个属性匹配单元中包括：指定的属性、运算符，以及该属性的取值；

对于包括多个属性匹配单元的情况下，各属性匹配单元之间的逻辑运算符。

本发明还提供一种分布式日志的搜索装置，包括：

模式选择模块，用于确定用户选择的指标筛选器的模式；

筛选条件输入模块，用于接收用户输入的基于该模式的筛选条件；

筛选器运行模块，用于运行所述模式的指标筛选器，所述指标筛选器根据所述筛选条件对采集于分布式网络中的日志进行搜索，得出符合条件的日志。

本发明实施例的技术方案中，基于几种模式的指标筛选器，可以针对分布式网络中不同来源，不同格式的日志，以及不同的搜索需求进行搜索。这样，就不必将不同格式的日志进行统一转换，既避免了转换步骤，又可以避免转换过程中日志信息的丢弃；而搜索出的符合条件的日志为原始日志，通常技术人员可以直接阅读而获取所需要的信息。

附图说明

图1为现有技术的日志信息搜索与采集方法的流程图；