[发明专利]分布式集群的存储系统的写入方法、装置及可读存储介质有效

专利信息
申请号: 202010193359.0 申请日: 2020-03-18
公开(公告)号: CN111400112B 公开(公告)日: 2021-04-13
发明(设计)人: 施晓罡;陈梓立 申请(专利权)人: 深圳市腾讯计算机系统有限公司
主分类号: G06F11/20 分类号: G06F11/20;G06F3/06
代理公司: 北京市立方律师事务所 11330 代理人: 张筱宁
地址: 518000 广东省深圳市南*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 分布式 集群 存储系统 写入 方法 装置 可读 存储 介质
【说明书】:

本申请提供了一种分布式集群的存储系统的写入方法、装置及可读存储介质,其中方法包括:在监测到分布式集群的当前主节点发生故障时,从竞争条目库中删除当前主节点的竞争条目得到更新后的竞争条目库,其中,竞争条目库中存储有分布式集群的上一次主节点选举中各个参选节点的竞争条目;在接收到分布式集群发送的包含有标识信息的写入请求时,基于标识信息和更新后的竞争条目库确定请求发出节点是否为替补主节点;若确定请求发出节点为替补主节点,则执行写入请求对应的写入操作。该方案通过确定请求发出节点为替补主节点后再执行写入请求对应的写入操作,避免了执行发生故障的当前主节点发出的写入请求对应的写入操作,保证了分布式集群的一致性。

技术领域

本申请涉及计算机技术领域,具体而言,本申请涉及一种分布式集群的存储系统的写入方法、装置及可读存储介质。

背景技术

主从结构是一种常见的分布式集群组织结构,许多主从结构的分布式集群系统都会采用外挂的一致性存储系统来进行数据存储以实现分布式集群的一致性,这就产生了许多由主从结构的分布式系统和一致性存储系统组成的组合系统。例如,由Apache Flink和Apache ZooKeeper组成的组合系统,其中Apache Flink是一个主从结构的分布式计算系统,Apache ZooKeeper通过multi-op操作提供事务机制。此外,还有由Apache Spark和Apache ZooKeeper组成的组合系统,或由Apache Flink和Etcd组成的组合系统。

这些组合系统中的主从结构的分布式集群为了实现高可用,在主节点发生故障的时候需要进行主备切换,即采用替补主节点替换发生故障的主节点,该主节点替换过程中一般通过主节点选举产生替补主节点。

但是,目前基于ZooKeeper或其他一致性存储系统的主节点选举的方案,在选举出替补主节点后的一个时间段内,由于发生故障的主节点还未接收到一致性存储系统发送的主节点权限丢失通知,该发生故障的主节点和替补主节点都具有对一致性存储系统进行数据修改的权限,在此时间段内,若发生故障的主节点和替补主节点分别对一致性存储系统中的数据进行修改操作,将会破坏分布式集群的一致性。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一,本申请实施例所提供的技术方案如下:

第一方面,本申请实施例提供了一种分布式集群的存储系统的写入方法,包括:

在监测到分布式集群的当前主节点发生故障时,从竞争条目库中删除当前主节点的竞争条目得到更新后的竞争条目库,其中,竞争条目库中存储有分布式集群的上一次主节点选举中各个参选节点的竞争条目,以使分布式集群基于更新后的竞争条目库进行主节点选举得到替补主节点;

在接收到分布式集群发送的包含有标识信息的写入请求时,基于标识信息和更新后的竞争条目库确定请求发出节点是否为替补主节点;

若确定请求发出节点为替补主节点,则执行写入请求对应的写入操作。

在本申请的一种可选实施例中,基于标识信息和更新后的竞争条目库确定请求发出节点是否为替补主节点,包括:

基于标识信息判断更新后的竞争条目库中是否包含有请求发出节点的竞争条目,若更新后的竞争条目库中包含有请求发出节点的竞争条目,则确定请求发出节点为替补主节点,反之,则请求发出节点不为替补主节点。

在本申请的一种可选实施例中,方法还包括:

在分布式集群进行上一次主节点选举前,接收各个参选节点的注册信息;

基于注册信息为对应的节点创建对应的竞争条目并存储,得到竞争条目库。

在本申请的一种可选实施例中,注册信息包括对应的节点的标识信息和注册时间,基于注册信息为对应的节点创建对应的竞争条目并存储,得到竞争条目库,包括:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010193359.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top