[发明专利]日志记录方法、日志查询方法及系统

说明书

技术领域

本发明涉及日志处理领域，更为具体地，涉及一种日志记录方法及装置、一种日志查询方法及装置以及具有上述装置的日志系统。

背景技术

日志系统负责接收网关发送的日志数据，按照一定格式存储所接收的日志数据，并且提供对日志数据的查询功能。网关发送的日志数据通常包括三种类型：管理日志，运行日志和访问日志。管理日志记录的是网关的管理员对网关的管理操作，运行日志记录的是网关本身运行过程中发生的事件，而访问日志记录的是通过网关的访问事件，通常一个会话会产生一条访问日志。通常情况下，网关的管理日志和运行日志不会很多，而访问日志每秒可能达到成千上万条。

图1示出了网关发送的日志数据的一个示例。如图1所示，在该日志数据中包括的字段是时间，模块，等级，源IP，目的IP，目的端口，协议和动作。

目前的日志系统主要运行在Linux/Unix或者Windows服务器上，采用关系数据库来实现对日志数据的存储和查询功能。另外，为了提高日志的查询性能，还会为关系数据库建立索引。

然而，基于关系数据库实现的日志系统的性能差。一方面，在基于关系数据库实现的日志系统中，日志数据的插入性能差。如果为了提高日志的查询性能而给关系数据库建立索引，则日志数据的插入性能会进一步下降。此外，关系数据库的插入性能还会随着记录的增多而下降。另一方面，即使为数据库建立索引，随着所记录的日志增多，查询性能仍然无法满足要求。

此外，基于关系数据库实现的日志系统的存储空间（例如，磁盘空间）利用率低。在基于关系数据库实现的日志系统中，为了提高日志的查询性能，必须为关系数据库建立搜索引，此时会明显增大关系数据库文件所占用的存储空间，从而使得日志系统的存储空间利用率低。

发明内容

鉴于上述，本发明的目的在于提供一种日志记录方法及装置，该方法及装置能够减少索引文件所占用的存储空间。

本发明的另一目的在于提供一种日志查询方法及装置，该方法及装置能够提高日志的查询性能。

本发明的另一目的在于提供包括上述装置的日志系统。

根据本发明的一个方面，提供了一种日志记录方法，包括：从所获取的日志中获取该日志中的各个字段的字段取值；将所获取的日志插入到日志数据文件中，所述日志数据文件与多个预先创建的索引文件相关联地存储在存储装置中；记录所述日志在所述日志数据文件中的写入位置距离所述日志数据文件的起始位置的偏移量；以及将各个字段的字段取值和日志的偏移量相关联地写入到对应的索引文件中，每个字段对应一个索引文件，其中，所述多个索引文件中的至少一个索引文件是主索引文件，在所述主索引文件中，还与对应字段的字段取值和日志的偏移量相关联地写入所述日志的长度。

在上述方面的一个或多个示例中，在非主索引文件中，还与对应字段的字段取值和日志的偏移量相关联地写入所述日志的长度。

在上述方面的一个或多个示例中，所述字段包括时间类型字段、枚举类型字段和变量类型字段，对于时间类型字段，所获取的字段取值是日志的起始时间和结束时间，对于枚举类型字段，所获取的字段取值是字段的枚举类型，以及对于变量类型字段，所获取的字段取值是变量值。

在上述方面的一个或多个示例中，所述与时间索引对应的索引文件、所述与枚举类型字段对应的索引文件采用数组方式，以及所述与变量类型字段对应的索引文件采用HASH表的方式。

根据本发明的另一方面，提供了一种日志记录装置，包括：字段取值获取单元，用于从所获取的日志中获取该日志中的各个字段的字段取值；日志插入单元，用于将所获取的日志插入到日志数据文件中，所述日志数据文件与多个预先创建的索引文件相关联地存储在存储装置中；记录单元，用于记录所述日志在所述日志数据文件中的写入位置距离所述日志数据文件的起始位置的偏移量；以及索引文件写入单元，用于将各个字段的字段取值和日志的偏移量相关联地写入到对应的索引文件中，每个字段对应一个索引文件，其中，所述多个索引文件中的至少一个索引文件是主索引文件，在对应的索引文件是主索引文件时，所述索引文件写入单元还用于将所述日志的长度与对应字段的字段取值和日志的偏移量相关联地写入到所述主索引文件中。

在上述方面的一个或多个示例中，在非主索引文件中，还与对应字段的字段取值和日志的偏移量相关联地写入所述日志的长度。