[发明专利]一种优化数据库日志批量写入的方法及装置

说明书

本发明提供了一种优化数据库日志批量写入的方法及装置，具体为：当进行数据库日志写入时，生成至少3个数值不同的第一参考延迟时间；将所述第一写入速度最快的所述第一参考延迟时间设为当前最优参考延迟时间；依据所述当前最优参考延迟时间与所述第一参考延迟时间生成至少2个数值不同的第二参考延迟时间；将所述第二写入速度最快的第二参考延迟时间设置为当前最优参考延迟时间；将所述当前最优延迟时间设为延迟时间进行数据库日志的写入，并继续迭代所述当前最优参考延迟时间。本申请通过自适应调整延迟时间，最大化发挥磁盘性能，使数据库日志写入速度达到最大值，从而对数据库日志的写入进行优化。

技术领域

本发明主要涉及数据处理领域，尤其涉及一种优化数据库日志批量写入的方法。

背景技术

REDO日志通常被称作重做日志，是一种数据库故障重启后，恢复数据的机制。通常情况下，将REDO日志写入存储设备，事务就可以提交，而修改过的页面由后台线程异步持久化。此时数据库如果宕机，重启时会通过REDO日志的回放，将事务修改过的页面回放到宕机前的状态，保证事务不丢失。一般情况下，REDO日志是顺序写入的，在前一条REDO日志持久化之前，后一条REDO日志会被阻塞，后续的事务提交也会阻塞，因此REDO日志的写入通常是数据库性能瓶颈。在高并发业务下，如果每提交一个事务，就执行一次REDO写入的话，IO(输入输出)频率会很高，性能较差。因此大部分数据库会做这样的优化，当REDO正在写入存储设备时，在此期间执行提交的事务日志会在内存中合并，等当前REDO写入完成时，将合并的多条事务日志一次性写入REDO，从而做到日志批量写入，写入完成后这一批事务可以同时提交。这种的日志批量写入方法，能减少REDO写入IO的次数，性能较好。但是这种方法积累事务日志是被动的，无法最大化REDO写入性能。如果在当前REDO写入完成后，延迟一段时间，积累更多的事务日志后，再进行下一批REDO写入，则能进一步减少REDO写入IO的次数。这种REDO延迟写入的方式，在合适的延迟时间下，能进一步提升性能。

然而，延迟时间过长，虽然可以一次写入更多的事务日志，但是这些事务的提交要等待更长时间，性能反而会下降。延迟时间过短，IO次数会变大，性能也达不到最佳，尤其是在IO延迟较高的设备上，而现有技术中，延迟实现都是预先设定的固定时间，无法根据磁盘性能进行调整，使REDO磁盘发挥最优的性能。

发明内容

鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种优化数据库日志批量写入的方法及装置，包括：

一种优化数据库日志批量写入的方法，包括：

当进行数据库日志写入时，生成至少3个数值不同的第一参考延迟时间；并计算所述数据库日志在每个所述第一参考延迟时间下的第一写入速度；

将所述第一写入速度最快的所述第一参考延迟时间设为当前最优参考延迟时间；

依据所述当前最优参考延迟时间与所述第一参考延迟时间生成至少2个数值不同的第二参考延迟时间，并计算所述数据库日志在所述第二参考延迟时间下的第二写入速度；

将所述第二写入速度最快的第二参考延迟时间设置为当前最优参考延迟时间；

将所述当前最优延迟时间设为延迟时间进行数据库日志的写入，并继续迭代所述当前最优参考延迟时间。

进一步地，当进行数据库日志写入时，生成至少3个数值不同的第一参考延迟时间；并计算所述数据库日志在每个所述第一参考延迟时间下的第一写入速度的步骤，包括：

当进行数据库日志写入时，随机生成至少三个数值不同的第一参考延迟时间；

依据所述第一参考延迟时间对所述数据库日志进行写入；

在每个所述第一参考延迟时间下等待至少1秒，并获取所述数据库日志的大小；

依据所述数据库日志的大小与等待时间计算所述第一写入速度。