[发明专利]日志压缩方法和装置

说明书

本申请提供一种日志压缩方法和装置，日志压缩方法包括：将新生成的日志写入到内存中的日志缓冲区；在日志缓冲区填满的情况下，对日志缓冲区暂存的日志进行压缩，得到压缩日志文件；存储压缩日志文件，并清空日志缓冲区。本申请提供的日志压缩方法，将新生成的日志存储在内存的日志缓冲区，在日志缓冲区被填满后即对其存储的日志进行压缩、得到压缩日志文件，再将压缩日志文件存储到存储器中。因为仅在存储压缩日志时调用IO进程，所以无需如现有技术一样多次使用IO进程。因为压缩日志文件是已经被压缩的文件，占用IO进程时IO进程执行压缩日志文件存储的时间也较短。

技术领域

本申请涉及计算机数据处理技术领域，尤其涉及一种日志压缩方 法和装置。

背景技术

在数据库运行而向外部提供服务时，服务器会记录各种操作行为 而形成日志。在长时间运行、并且触发操作频繁的情况下，服务器会 形成海量日志文件；日志文件存储在服务器硬盘中而消耗大量硬盘资 源，并且为实现日志写入硬盘，需要频繁占用硬盘的IO服务，挤占正 常业务对硬盘IO服务的使用。

为解决日志存储占用大量资源、影响服务器操作的问题，目前已 有的方法是定期的对存储在硬盘中的累积的日志文件进行压缩，存储 并压缩后文件。而对存储在硬盘中的大量日志文件进行压缩，需要占 用硬盘进行读数据操作和占用硬盘进行写数据操作(也就是IO操作)； 对大量日志文件存储后进行压缩将短时间内占用大量CPU资源而减小 服务器对正常业务的处理及时性。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申 请提供了一种日志压缩方法和装置。

一方面，本申请提供一种日志压缩方法，包括：

将新生成的日志写入到内存中的日志缓冲区；

在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志 进行压缩，得到压缩日志文件；

存储所述压缩日志文件，并清空所述日志缓冲区。

所述日志缓冲区包括多个缓冲子区；

将新生成的日志写入到内存中的日志缓冲区包括：将新生成的、 不同类型的日志写入到不同的所述缓冲子区，或者，将新生成的、不 同应用对应的日志写入到不同的所述缓冲子区；

在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志 进行压缩包括：在任一缓冲子区填满的情况下，对所述任一缓冲子区 暂存的日志进行压缩；

所述清空所述日志缓冲区包括：清空所述缓冲子区。

同时开启多个压缩处理进程或者压缩处理线程；

在任一缓冲子区填满的情况下，对所述任一缓冲子区暂存的日志 进行压缩，包括：使用一处于空闲状态的所述压缩处理进程或者所述 压缩处理线程，对所述任一缓冲子区暂存的日志进行压缩。

还包括：

根据所述缓冲子区的数量和日志产生的速率，确定开启的所述压 缩处理进程或者所述压缩处理线程的数量。

存储所述压缩日志文件，包括：采用一个IO进程存储所述压缩日 志文件。

一种日志压缩装置，包括：

日志缓存单元，用于将新生成的日志写入到内存中的日志缓冲区；

日志压缩单元，用于在所述日志缓冲区填满的情况下，对所述日 志缓冲区暂存的日志进行压缩，得到压缩日志文件；

存储单元，用于存储所述压缩日志文件；

日志清空单元，用于在所述存储单元存储所述压缩日志文件后， 清空所述日志缓冲区。

所述日志缓冲区包括多个缓冲子区；