[发明专利]数据复制的方法及装置

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种数据复制的方法及装置。

背景技术

随着互联网技术的不断发展，互联网业务的种类和数量也在不断地增长。为了对互联网业务进行有效地管理，实现互联网业务的服务器一般托管在运营商的IDC（Internet Data Center，互联网数据中心）机房中。然而，目前的IDC机房之间的网络连通性不太好，时常会出现大量丢包的问题。为了解决该问题，通过采用将一台服务器的数据复制到其他服务器的方式，从而在该服务器故障后可切换其他服务器继续工作。其中，用于复制数据的服务器称为从服务器，被复制数据的服务器称为主服务器。

现有技术在实现数据复制时，通常采用MySQL数据库的主主复制技术。主主复制是指参与数据复制的服务器既可以作为主服务器，也可以作为从服务器。在MySQL数据库的主主复制技术中，包含两台服务器，每台服务器既可以作为主服务器，又可以作为从服务器。无论哪台服务器作为主服务器，哪台服务器作为从服务器，从服务器将主服务器的数据复制到从服务器的过程均分为三步：第一步，主服务器将更新数据记录到主服务器的日志事件中。第二步，从服务器将主服务器的日志事件拷贝到从服务器的中继日志(Relay Log)中。第三步，从服务器重放从服务器的中继日志中的事件，根据其中的更新数据更新从服务器的数据，并将更新数据记录到从服务器生成的新的日志事件中，由此完成数据复制过程。

在实现本发明的过程中，发明人发现上述现有技术至少存在以下缺点：

现有技术所提供的MySQL数据库的主主复制技术中，当第一台服务器作为主服务器，第二台服务器作为从服务器时，第一台服务器产生的日志事件会被传输到第二台服务器，并由第二台服务器执行数据复制操作后，生成新的日志事件；当第二台服务器作为主服务器，第一台服务器作为从服务器时，第二台服务器生成的新的日志事件又会被传输到第一台服务器，由第一台服务器执行数据复制过程。然而，这两台服务器的日志事件中记录的是相同的更新数据，导致记录相同更新数据的日志事件被多次传输，造成了双倍的网络流量。另外，现有技术提供的MySQL的主主复制技术仅在两台服务器之间实现数据复制，在面对互联网海量数据业务的情况下显得无能为力。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据复制的方法及装置。所述技术方案如下：

一方面，提供了一种数据复制的方法，所述方法包括：

从本地复制组的一至多台服务器中获取记录有更新数据的日志事件；

将获取到的日志事件存放到所述本地复制组的中继日志中；

更新所述本地复制组的中继日志的版本号，并获取其他复制组的中继日志及所述其他复制组的中继日志的版本号，所述其他复制组的中继日志中存放有从所述其他复制组的一至多台服务器中获取的记录有更新数据的日志事件；

根据每个中继日志的版本号从所述本地复制组的中继日志及所述其他复制组的中继日志中选择中继日志，并根据选择的中继日志更新所述本地复制组的一至多台服务器的数据。

优选地，所述更新所述本地复制组的中继日志的版本号，包括：

根据所述本地复制组的中继日志的更新时间戳及所述本地复制组的中继日志所在节点的节点编号更新所述本地复制组的中继日志的版本号。

优选地，所述获取其他复制组的中继日志之后，还包括：

根据预设的第一过滤规则对获取到的其他复制组的中继日志进行过滤；

所述根据每个中继日志的版本号从所述本地复制组的中继日志及所述其他复制组的中继日志中选择中继日志，包括：

根据每个中继日志的版本号从所述本地复制组的中继日志及过滤后的其他复制组的中继日志中选择中继日志。

优选地，所述从本地复制组的一至多台服务器中获取记录有更新数据的日志事件之后，还包括：

记录从所述本地复制组的一至多台服务器中获取日志事件的状态信息，所述状态信息至少包括所述本地复制组的一至多台服务器的节点标识、日志文件名、日志文件偏移量和当前状态信息。

优选地，所述根据选择的中继日志更新所述本地复制组的一至多台服务器的数据，包括：

读取选择的中继日志中的日志事件；

对读取的日志事件进行回放，得到日志事件记录的更新数据；

将得到的更新数据写入所述本地复制组的一至多台服务器中。

优选地，所述将读取的日志事件所记录的更新数据写入所述本地复制组的一至多台服务器中之后，还包括：