[发明专利]跨地域分布式存储数据的方法、装置、终端及存储介质有效

专利信息
申请号: 201711407672.4 申请日: 2017-12-22
公开(公告)号: CN108121804B 公开(公告)日: 2020-06-05
发明(设计)人: 胡杰 申请(专利权)人: 百度在线网络技术(北京)有限公司
主分类号: G06F16/27 分类号: G06F16/27
代理公司: 北京市铸成律师事务所 11313 代理人: 张臻贤;李够生
地址: 100085 北京市*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 地域 分布式 存储 数据 方法 装置 终端 介质
【说明书】:

发明提出一种跨地域分布式存储数据的方法,每启动跨地域节点时,生成序列版本号,序列版本号能够区分不同地域的节点的数据来源,避免多个跨地域节点之间进行数据出现环同步,能够区分同一个节点的两次启动,使得数据同步时只需要对齐每个序列版本号的最后的一条数据对应的单条更新序列信息即可,实现了多地域写入数据。将数据写入不同的跨地域节点时,记录数据对应的单条更新序列信息,根据序列版本号和单条更新序列信息,比较多个跨地域节点中存储的数据是否一致,若不一致,则对多个跨地域节点进行数据同步操作,实现了数据的双向配置,保证数据一致性。本发明还提供了跨地域分布式存储数据的装置、终端和计算机可读存储介质。

技术领域

本发明涉及分布式存储领域,具体涉及一种跨地域分布式存储数据的方法,还涉及一种跨地域分布式存储数据的装置,一种跨地域分布式存储数据的终端以及一种计算机可读存储介质。

背景技术

随着云计算技术的普及,企业产生的数据量越来越大,需要存储系统能够支持海量数据的高效存取,尤其是跨地域数据的存取。目前,跨地域分布式存储有三种方式:第一种,通过Paxos/Raft等分布式协议将数据写入节点,节点反馈之后,完成数据同步写入,提供了各个节点中数据的强一致性保证,然而,当进行跨地域写入节点时,由于通信时间的延长,跨地域链路不稳定,导致写入延迟,分布式存储数据性能差;第二种,通过转发binlog到跨地域节点,如果遇到节点磁盘损坏的情况,被写入数据的节点无法反馈写入完成的信息给写入数据的节点,导致两个节点之间无法保证数据一致,而且导致重复写入,又因为Binlog是记录写入数据的日志,按顺序记录写入key/value,但是,无法区分写入时来源于本地域还是跨地域,转发时也不做区分,因此无法进行多地域写入,只能对其中的一个节点进行单地域写入,不同地域之间的节点只能单向写入。第三种,通过外部系统如kafka进行跨地域数据传输,再写入本地节点,不仅需要依赖外部系统、消耗额外的资源。

因此,如何实现跨地域分布式存储数据,保证数据一致性,提高分布式存储性能,节省资源,是本领域技术人员急需要解决的技术问题。

发明内容

本发明实施例提供一种跨地域分布式存储数据的方法,一种跨地域分布式存储数据的装置,一种跨地域分布式存储数据的终端以及一种计算机可读存储介质以至少解决现有技术中的以上技术问题。

第一方面,本发明实施例提供了一种跨地域分布式存储数据的方法,包括:

选择至少一个跨地域节点,每启动被选的所述跨地域节点时,在被选的所述跨地域节点中生成序列版本号;

将数据写入被选的所述跨地域节点时,记录所述数据对应的单条更新序列信息;

根据所述序列版本号以及所述单条更新序列信息,比较多个所述跨地域节点中存储的数据是否一致,若不一致,则对多个所述跨地域节点进行数据同步操作。

结合第一方面,本发明在第一方面的第一种实施方式中,所述单条更新序列信息包括时间戳、原子递增变量以及数据键值。

结合第一方面,本发明在第一方面的第二实施方式中,所述对多个所述跨地域节点进行数据同步操作,包括:

根据比较结果提取各个所述跨地域节点中的增量数据;

按照所述增量数据对应的最新的所述时间戳,将所述增量数据在各个所述跨地域节点中进行同步更新。

结合第一方面,本发明在第一方面的第三实施方式中,所述跨地域节点包括内存索引装置和内存存储装置,所述对多个所述跨地域节点进行数据同步操作之后,包括:

将同步后的所述数据存储至所述内存存储装置中,以允许通过所述内存索引装置对所述内存存储装置中的数据进行检索。

第二方面,本发明实施例提供了一种跨地域分布式存储数据的装置,包括:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711407672.4/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top