[发明专利]一种通过使用日志恢复数据库数据的方法及设备

说明书

技术领域

本申请一般涉及数据处理领域，尤其涉及一种数据的存储、处理和恢复的方法和设备。

背景技术

对于涉及数据的系统来说，对数据的妥善保存是必不可少的。例如淘宝网系统对其用户的购物信息的保存，支付宝系统对用户账户信息的保存等等，这些数据通常保存在数据库中，然而，当数据库损坏时，就会造成数据的损失。

目前，一般会采用数据库定期备份机制对数据库进行备份避免数据库损坏造成的损失。这种机制通常会包括主数据库和备用数据库，主数据库存储实时的完整的数据，数据库备份程序及设备每隔一段设定的时间间隔将主数据库的数据备份到备用数据库，当主数据库损坏时，系统就可以使用备用数据库。两个数据库通常具有相同的完备的数据格式和结构，所以可以很直接地从主数据库切换使用备用数据库中的数据。

然而，备份的时间间隔通常为几分钟、几小时，所以这种备份动作不是实时发生的，（作为特别情形，也可以将时间间隔设定为极短的时间以实现实时备份，但这样会消耗大量系统资源，所以通常不采用这种方式。）所以，当主数据库损坏的情形下，从数据库备份程序及设备最后一次进行备份的时间点到主数据库损坏的时间点期间的数据没有被备份到备用数据库，该部分数据丢失了，这是这种数据库定期备份机制存在的问题。

发明内容

本申请的主要目的在于提供一种通过使用日志恢复数据库数据的方法及设备，以解决现有技术存在的数据库定期备份机制中从数据库备份程序最后一次进行备份的时间点到主数据库损坏的时间点期间的数据丢失问题，其中：

根据本申请的一个方面，提供一种对数据库数据进行恢复的方法，包括以下步骤：将分布并运行在一台或多台服务器上的应用程序中的业务数据实时地以预定格式转换成日志数据；接收所述日志数据并存储于一个或多个灾备日志文件中；将预定时间段内的灾备日志文件中的日志数据解析为具备数据库格式的数据作为解析得到的数据；将解析得到的数据依据预定规则进行重建以获得重建的业务数据；以及将重建的业务数据更新到备用数据库。

根据本申请具体实施方式的方法，还包括，具备数据库格式的数据的每一个具有唯一标识符，并且其中，所述解析步骤还包括：将所述具备数据库格式的数据和备用数据库的数据进行比对，将唯一标识符不同的具备数据库格式的数据作为解析得到的数据。

根据本申请具体实施方式的方法，解析步骤还包括，将解析得到的数据存储到灾备临时数据库。

根据本申请具体实施方式的方法，重建步骤还包括，将灾备临时数据库中的数据与备用数据库的数据进行比对，将灾备临时数据库中无误的数据标记为重建的业务数据；将灾备临时数据库中有误的数据标记为未重建的业务数据。

根据本申请具体实施方式的方法，还包括，所述解析步骤在多台服务器中并行地进行，并且其中，所述重建步骤在单台服务器中进行。

根据本申请具体实施方式的方法，还包括，所述一个或多个灾备日志文件位于应用程序的一台或多台本地服务器或者一台或多台远程灾备服务器中。

根据本申请具体实施方式的方法，还包括，所述预定时间段的开始时间早于或等于数据库最后一次备份到备用数据库的时间点，并且所述预定时间段的结束时间晚于或等于数据库发生故障的时间点。

根据本申请具体实施方式的方法，还包括，业务数据中的每一业务数据具有时间标识符，并且重建步骤还包括按照所述时间标识符对解析得到的数据进行排序。

根据本申请具体实施方式的方法，还包括，将重建的业务数据更新到备用数据库过程中，当备用数据库的部分数据被修改的情形下，对修改前的该部分数据进行备份。

根据本申请的一个方面，提供一种对数据库数据进行恢复的设备，包括：日志转换模块，其将分布并运行在一台或多台服务器上的应用程序中的业务数据实时地以预定格式转换成日志数据；日志接收模块，其接收日志转换模块输出的日志数据并存储于一个或多个灾备日志文件中；日志解析模块，其将设定时间段内的灾备日志文件中的日志数据解析为具备数据库格式的数据作为解析得到的数据；重建业务数据模块，其将日志解析模块解析得到的数据依据预定规则进行重建以获得重建的业务数据；以及更新业务数据模块，其将重建业务数据模块重建的业务数据更新到备用数据库。

在根据本申请实施例的设备中，具备数据库格式的数据的每一个具有唯一标识符，并且其中，日志解析模块包括第一比对模块，被配置成将所述具备数据库格式的数据和备用数据库的数据进行比对，将唯一标识符不同的具备数据库格式的数据作为解析得到的数据。

在根据本申请实施例的设备中，日志解析模块被配置成将解析得到的数据存储到灾备临时数据库。