[发明专利]跨地域分布式存储数据的方法、装置、终端及存储介质有效
申请号: | 201711407672.4 | 申请日: | 2017-12-22 |
公开(公告)号: | CN108121804B | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 胡杰 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 张臻贤;李够生 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 地域 分布式 存储 数据 方法 装置 终端 介质 | ||
本发明提出一种跨地域分布式存储数据的方法,每启动跨地域节点时,生成序列版本号,序列版本号能够区分不同地域的节点的数据来源,避免多个跨地域节点之间进行数据出现环同步,能够区分同一个节点的两次启动,使得数据同步时只需要对齐每个序列版本号的最后的一条数据对应的单条更新序列信息即可,实现了多地域写入数据。将数据写入不同的跨地域节点时,记录数据对应的单条更新序列信息,根据序列版本号和单条更新序列信息,比较多个跨地域节点中存储的数据是否一致,若不一致,则对多个跨地域节点进行数据同步操作,实现了数据的双向配置,保证数据一致性。本发明还提供了跨地域分布式存储数据的装置、终端和计算机可读存储介质。
技术领域
本发明涉及分布式存储领域,具体涉及一种跨地域分布式存储数据的方法,还涉及一种跨地域分布式存储数据的装置,一种跨地域分布式存储数据的终端以及一种计算机可读存储介质。
背景技术
随着云计算技术的普及,企业产生的数据量越来越大,需要存储系统能够支持海量数据的高效存取,尤其是跨地域数据的存取。目前,跨地域分布式存储有三种方式:第一种,通过Paxos/Raft等分布式协议将数据写入节点,节点反馈之后,完成数据同步写入,提供了各个节点中数据的强一致性保证,然而,当进行跨地域写入节点时,由于通信时间的延长,跨地域链路不稳定,导致写入延迟,分布式存储数据性能差;第二种,通过转发binlog到跨地域节点,如果遇到节点磁盘损坏的情况,被写入数据的节点无法反馈写入完成的信息给写入数据的节点,导致两个节点之间无法保证数据一致,而且导致重复写入,又因为Binlog是记录写入数据的日志,按顺序记录写入key/value,但是,无法区分写入时来源于本地域还是跨地域,转发时也不做区分,因此无法进行多地域写入,只能对其中的一个节点进行单地域写入,不同地域之间的节点只能单向写入。第三种,通过外部系统如kafka进行跨地域数据传输,再写入本地节点,不仅需要依赖外部系统、消耗额外的资源。
因此,如何实现跨地域分布式存储数据,保证数据一致性,提高分布式存储性能,节省资源,是本领域技术人员急需要解决的技术问题。
发明内容
本发明实施例提供一种跨地域分布式存储数据的方法,一种跨地域分布式存储数据的装置,一种跨地域分布式存储数据的终端以及一种计算机可读存储介质以至少解决现有技术中的以上技术问题。
第一方面,本发明实施例提供了一种跨地域分布式存储数据的方法,包括:
选择至少一个跨地域节点,每启动被选的所述跨地域节点时,在被选的所述跨地域节点中生成序列版本号;
将数据写入被选的所述跨地域节点时,记录所述数据对应的单条更新序列信息;
根据所述序列版本号以及所述单条更新序列信息,比较多个所述跨地域节点中存储的数据是否一致,若不一致,则对多个所述跨地域节点进行数据同步操作。
结合第一方面,本发明在第一方面的第一种实施方式中,所述单条更新序列信息包括时间戳、原子递增变量以及数据键值。
结合第一方面,本发明在第一方面的第二实施方式中,所述对多个所述跨地域节点进行数据同步操作,包括:
根据比较结果提取各个所述跨地域节点中的增量数据;
按照所述增量数据对应的最新的所述时间戳,将所述增量数据在各个所述跨地域节点中进行同步更新。
结合第一方面,本发明在第一方面的第三实施方式中,所述跨地域节点包括内存索引装置和内存存储装置,所述对多个所述跨地域节点进行数据同步操作之后,包括:
将同步后的所述数据存储至所述内存存储装置中,以允许通过所述内存索引装置对所述内存存储装置中的数据进行检索。
第二方面,本发明实施例提供了一种跨地域分布式存储数据的装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711407672.4/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置