[发明专利]一种自适应的wal日志膨胀解决方法

说明书

本发明公开了一种自适应的wal日志膨胀解决方法，涉及云计算与大数据技术领域。该自适应的wal日志膨胀解决方法，包括以下步骤：S1，定时探测wal文件大小和wal文件所在磁盘剩余空间，判断磁盘剩余空间是否低于阈值，若是，则进入自适应调节；S2，进入自适应调节，根据自适应调节算法提交延迟事务调节wal日志生成速度；S3，循环S1和S2。本发明通过定时探测wal文件大小和wal文件所在磁盘剩余空间，判断磁盘剩余空间低于阈值时，采取自适应算法控制wal文件的生成速度的技术，达到了对wal文件的膨胀速度有明显的控制效果，解决了现有技术中wal日志膨胀导致的数据库磁盘爆盘不可用的问题。

技术领域

本发明涉及云计算与大数据技术领域，尤其涉及一种自适应的wal日志膨胀解决方法。

背景技术

wal日志也叫预写日志，是数据库系统中(特别是关系型)用于实现事务持久性的技术。比如在MySQL中wal日志为redo日志；在postgresql 10版本之前叫xlog日志，之后就叫wal日志。在数据库的实际应用中，一些数据库应用需要保留wal日志来实现特定功能。比如任意时间点恢复功能需要将wal进行归档或者备份进行保存，数据库主备集群也支持异步复制模式。某些情况下，因为wal日志丢失会破坏数据一致性，所以如果wal日志被清理，任意时间点恢复将会因为日志丢失无法恢复到指定时间，备库也会因为wal日志丢失而无法和主库数据保存同步。

在实际应用中，数据库应用通常把wal日志保存到和数据库实例保持异步的机器上，异步的机器会因为CPU，内存，网络和磁盘IO等多项硬件性能的差异而无法与数据库保持同步，所以在数据库实例中预留保存未被同步的wal日志文件。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

为了保证应用的可用性，数据库主库实例必须为应用保留wal日志，这些和数据库异步的应用在某些场景下会影响数据库正常，比如在事务压力特别大的情况下，主库和备库的网络或者磁盘IO存在差异(比如主库SSD硬盘，备库机械SATA硬盘)，主库wal日志的生成速度大于备库wal日志同步速度，wal日志文件快速膨胀，时间一长就会导致磁盘爆满，进而影响数据库正常使用。综上所述，现有技术存在wal日志膨胀导致的数据库磁盘爆盘不可用的问题。

发明内容

本申请实施例通过提供一种自适应的wal日志膨胀解决方法，解决了现有技术中wal日志膨胀导致的数据库磁盘爆盘不可用的技术问题，实现了维持数据库应用的高可用，保证了数据库的稳定运行。

本申请实施例提供了一种自适应的wal日志膨胀解决方法，包括以下步骤：

S1，定时探测wal文件大小和wal文件所在磁盘剩余空间，判断磁盘剩余空间是否低于阈值，若是，则进入自适应调节；

S2，进入自适应调节，根据自适应调节算法提交延迟事务调节wal日志生成速度；

S3，循环S1和S2。

进一步的，所述S1中判断磁盘剩余空间是否低于阈值，若否，则继续探测wal文件大小和wal文件所在磁盘剩余空间。

进一步的，所述S1中探测wal文件大小和wal文件所在磁盘剩余空间之前需要获取指标，并将延迟提交参数和数据库禁止写入参数进行初始化。

进一步的，所述指标包括：wal文件数、最大wal阈值、磁盘剩余空间和磁盘剩余空间阈值。

进一步的，所述S2中的自适应调节算法具体包括：

慢开始：当wal文件量增加或者剩余磁盘空间减小时，增加延迟提交时间；

快恢复：当wal文件量减小或者磁盘剩余空间增大时，降低延迟提交时间；