[发明专利]跨数据中心数据同步系统及方法

说明书

本发明提供了一种跨数据中心数据同步系统及方法，用于将源数据中心的数据同步到目的数据中心，所述源数据中心和所述目的数据中心均设置有多个RPC客户端和多个RPC服务器，在所述目的数据中心中设置有数据搬运装置，所述系统还包括数据搬运管理装置；所述数据搬运管理装置，用于管理源消息队列和目的消息队列，以及，控制启动或关闭所述数据搬运装置从源消息队列获取数据；所述数据搬运装置，用于从源消息队列获取数据，并将所获取的数据存入到目的消息队列中。本发明可提高数据同步的灵活性和可靠性。

技术领域

本发明涉及计算机及互联网技术领域，特别是涉及一种跨数据中心数据同步系统及方法。

背景技术

随着互联网时代的到来，社交网络、微博、位置服务等面向普通互联网用户的交互网站正蓬勃兴起，各种网站向数以亿计的用户提供基于互联网和无线网络的交互服务。遍布全世界的互联网用户每天都进行多种多样的交互，随时都在制造各种个样的数据，这些数据的数量是单机时代数据量的数倍。

为了可靠地保存这些数据，互联网公司会将服务器分布在多个城市的不同数据中心，同时将数据在不同的数据中心进行备份，因此，需要在不同的数据中心之间进行数据同步。而对于大量与时间序列相关的数据，在进行跨数据中心同步时，需要根据数据的生成时间有序地进行同步，乱序的数据将破坏原有数据的准确性。并且，由于异构数据存储系统的大量存在，数据同步系统需要很好地支持多语言。

现有的数据同步方案主要包括专有数据同步和应用层数据同步两种方式。

在专用数据同步方式中，设置有支持跨数据中心数据同步的数据库，例如Mysql、Hbase等，依赖这类特定的数据库来实现不同数据中心的数据同步。这种方案会限制用户的数据只能存储在特定的数据存储系统中，用户无法灵活地选取合适的数据存储系统，并且，数据无法在异构数据源之间进行同步。

在应用层数据同步方式中，需要进行应用层双写和应用层链式多写，通过应用层实现将数据写到多个数据中心。在双写和链式多写下，只有将数据同时在多个数据中心写成功才能被确认为写成功。但是在网络抖动较大的情况下，双写和链式多写都会严重影响应用层的性能，并且在异常情况下无法保证数据的有序性。

发明内容

为了提高数据同步的灵活性和可靠性，本发明实施例提供一种跨数据中心数据同步系统及方法。

根据本发明实施例的一个方面，提供一种跨数据中心数据同步系统，用于将源数据中心的数据同步到目的数据中心，所述源数据中心和所述目的数据中心均设置有多个RPC客户端和多个RPC服务器，在所述目的数据中心中设置有数据搬运装置，所述系统还包括数据搬运管理装置；所述数据搬运管理装置，用于管理源消息队列和目的消息队列，以及，控制启动或关闭所述数据搬运装置从源消息队列获取数据；所述数据搬运装置，用于从源消息队列获取到数据，并将所获取的数据存入到目的消息队列中。

优选的，所述数据搬运管理装置，还用于设定所述源消息队列和所述目的消息队列的映射对应关系；所述数据搬运装置将所获取的数据存入到源消息队列对应的目的消息队列中。

优选的，在所述源数据中心的RPC服务器中设置所述源消息队列，在所述目的数据中心的RPC服务器中设置所述目的消息队列。

优选的，所述源消息队列和所述目的消息队列均是基于日志存储的分布式队列。

优选的，所述数据搬运装置包括消息生产端和消息消费端，所述消息消费端用于从源消息队列获取数据，所述消息生产端用于将所述消息消费端获取的数据存入到目的消息队列中。

优选的，所述RPC客户端和RPC服务端之间通过IDL定义通信协议，通过IDL文件编译成语言代码，从而实现在数据中心支持所述语言的数据通信。