[发明专利]一种日志文件压缩的方法、系统、设备及介质

说明书

本发明公开了一种日志文件压缩的方法、系统、设备和存储介质，方法包括：响应于对日志文件进行压缩，通过配置文件确认当前使用的同步方式；根据所述当前使用的同步方式确定关键字，根据所述关键字匹配待压缩的日志文件的名称，并根据所述名称确定对应的日志文件；对所述日志文件进行编码并加入校验信息以生成压缩文件，并将所述压缩文件写入预设的存储介质中；以及根据所述存储介质的地址对所述日志文件的索引文件进行修改。本发明根据不同的同步方式采用不同的关键字，从而匹配相应的日志文件，形成了多样化的压缩日志文件的方式，适用性更强；在日志文件的压缩过程中加入校验信息，能够避免了人为错误的发生。

技术领域

本发明涉及日志文件压缩领域，更具体地，特别是指一种日志文件压缩的方法、系统、计算机设备及可读介质。

背景技术

系统的高可用性一直是衡量一个软件系统可靠性的重要指标，mysql作为常用的数据库，其容灾能力是衡量系统高可用性中十分重要的部分。数据库的容灾通常由多个数据库节点组成一个高可用环境来实现，为了解决各个节点间的数据同步，现有的技术有异步复制技术、半同步复制技术和组同步技术(mysql Group Replication)，这些技术是基于mysql的binlog来实现的，binlog就是binary log，是二进制日志文件，这个文件记录了MySQL所有的DML(Data Manipulation Language，数据操作语言)操作。通过binlog日志可以进行数据恢复、增量备份、主主复制和主从复制等等。

Binlog记录了数据库运行过程中对数据库的修改操作，通过将binlog复制、回放到备用节点，即可以在备用节点将数据进行同步。Binlog中记录了数据库的详细变更，在数据量较大的情况下，binlog文件的大小将会快速增加，极大地消耗硬盘资源。同时，如果mysql出现问题，需要恢复时又需要将binlog保存下来，这就导致了在较大资源量的情况下，mysql环境中只能保存较短时间的日志文件，这样会导致在某些情况下，恢复mysql同步或者有新节点加入时，部分binlog被删除，导致这部分GTID(全局事务标识符)对应的事务被删除，同步失败。

发明内容

有鉴于此，本发明实施例的目的在于提出一种日志文件压缩的方法、系统、计算机设备及计算机可读存储介质，本发明根据不同的同步方式采用不同的关键字，并根据关键字匹配相应的日志文件进行压缩，从而形成了多样化的压缩日志文件的方式，适用性更强；在日志文件的压缩过程中加入校验信息，能够避免了人为错误的发生；并且，有效地减少了对硬盘资源的占用，在硬盘资源有限的环境下，可以有效地延长保存日志的时间，提高了mysql同步在实际使用中的效果。

基于上述目的，本发明实施例的一方面提供了一种日志文件压缩的方法，包括如下步骤：响应于对日志文件进行压缩，通过配置文件确认当前使用的同步方式；根据所述当前使用的同步方式确定关键字，根据所述关键字匹配待压缩的日志文件的名称，并根据所述名称确定对应的日志文件；对所述日志文件进行编码并加入校验信息以生成压缩文件，并将所述压缩文件写入预设的存储介质中；以及根据所述存储介质的地址对所述日志文件的索引文件进行修改。

在一些实施方式中，所述根据所述当前使用的同步方式确定关键字包括：获取所述同步方式的映射关系，并根据所述映射关系确定所述同步方式对应的关键字。

在一些实施方式中，所述根据所述关键字匹配待压缩的文件名称包括：根据所述关键字匹配规则，并根据所述规则确定待压缩的文件名称。

在一些实施方式中，所述对所述日志文件进行编码并加入校验信息以生成压缩文件包括：在所述日志文件的首个缓冲区长度中写入介质访问控制信息。

在一些实施方式中，所述对所述日志文件进行编码并加入校验信息以生成压缩文件包括：在所述日志文件的字节最后一位写入服务标识。