[发明专利]UGC主备数据同步方法及其系统

说明书

本发明提供一种UGC主备数据同步方法及其系统，所述方法包括以下步骤：保存主储存点中每一用户标识对应的UGC数据更新的版本标识；当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件；如果是，则从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点；否则，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。本发明提供的UGC主备数据同步方法及其系统能够实现UGC主备数据同步一致，并且同步数据不会占用过多通信资源，同步效率受UGC数据膨胀的影响较小。

技术领域

本发明涉及互联网络的技术领域，特别是涉及一种UGC主备数据同步方法，以及一种UGC主备数据同步系统。

背景技术

UGC（User Generated Content，用户生成内容）是一种使用互联网络的新方式，由原来以用户下载数据为主的应用方式，变成用户下载和上传并重。社区网络、视频分享和微博等都是UGC的主要应用形式。随着全球互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

UGC类应用中对用户产生的数据的存储是其核心技术之一，为提升用户体验、保持稳定性和提高抵抗灾难的能力(如IDC掉电，地震等意外)，UGC数据存储一般都采用冗余热备的方式，即数据保存多份，如分别储存在多个IDC（Internet Data Center，互联网数据中心）甚至是不同城市的IDC。其中一份为主储存点保存的主点数据，所述主储存点是UGC数据写入的唯一入口；其它的为备份点保存的备份数据，接收所述主点数据的同步，通过同步系统使多份数据之间保持实时的一致性。

由于UGC类应用中数据具有膨胀的特点，即用户产生的数据随时间推移会越来越多，如用户发表微博产生的数据，随着用户发表的微博量增大而增大，主储存点和备份点之间需要同步越来越大的数据量，占用越来越多的通信带宽资源。因此，UGC数据的膨胀性特点，使主点数据和备份数据之间的高实时一致性要求成为一个难题。

通常的UGC主备数据同步方法采用定时全量同步的方式保持一致，其原理如图1所示。当用户的UGC数据有修改时，主储存点Master上对应的用户集unit（由多个用户标识uin组成的集合）的更新标识local seq加1，同步进程syncd定时检查local seq和备份点的更新标识peer seq的差异，如果local seq>peer seq，则根据peer seq从所述主储存点的数据更新日志binlog中取出发生数据更新的uin，并且取出对应的uin的全量UGC数据，发送给备份点Slave。所述备份点Slave接收所述全量UGC数据，保存至对应的uin，并更新本地的用户集unit的更新标识local seq，从而达到保持数据的一致的目的。

当主备点之间同步的数据量基本稳定且不大的情况，上述同步方法可以较好的保证数据一致性。然而，由于UGC类应用中数据膨胀的特性比较突出，用户的UGC数据会随时间越来越大，例如在微博应用，用户发表的微博量可以达到数十万，用户索引数据总量可以达到数十兆，如果采用上述同步方法，则用户每发表一条微博或删除一条微博，都会将该用户的用户标识所对应的全量UGC数据同步到备份点。而随着同步的数据量变大，同步效率及实时性会大幅降低，通常解决的方法大多依赖于建立同步所用的专线带宽，而同步专线的资源有限，特别是建设跨城同步专线更是昂贵。

发明内容

针对上述背景技术中存在的问题，本发明的目的在于提供一种能够实现UGC主备数据同步一致，并且同步数据不会占用过多通信资源的UGC主备数据同步方法，以及一种UGC主备数据同步系统。

一种UGC主备数据同步方法，包括：

保存主储存点中每一用户标识对应的UGC数据更新的版本标识；

当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件；