[发明专利]多副本数据的一致性检测方法和装置以及电子设备有效
申请号: | 201710536471.8 | 申请日: | 2017-07-04 |
公开(公告)号: | CN109213431B | 公开(公告)日: | 2022-05-13 |
发明(设计)人: | 石超 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京市惠诚律师事务所 11353 | 代理人: | 逯博 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 副本 数据 一致性 检测 方法 装置 以及 电子设备 | ||
本发明实施例提供了一种多副本数据的一致性检测方法和装置以及电子设备。该方法包括:将待检测副本数据切分为数个数据片段,所述数据片段组成待检测集合;针对所述待检测集合中的每一个所述数据片段,向多台存储服务器发送校验码获取请求,将多台所述存储服务器返回的所述校验码进行比较,当多台所述存储服务器返回的所述校验码相同时,删除所述待检测集合中相应的所述数据片段;当所述待检测集合为空时,判定所述待检测副本数据一致。本发明实施例通过对待检测副本数据进行切分,分段对数据进行校验码比较,对于动态变化的副本数据,降低了一致性检测的误报率,实现了多副本数据一致性的快速检测,极大地提高了系统性能。
技术领域
本发明涉及计算机技术领域,尤其涉及一种多副本数据的一致性检测方法和装置以及电子设备。
背景技术
在分布式存储系统中,用户写入的数据一般以多副本方式冗余地存储于多台服务器中。一份用户数据在多台存储服务器上的副本应该完全相同,即,多副本数据一致。通常以下几种情况可能会导致两个或两个以上的副本数据不一致:
1、存储服务器磁盘或内存故障。例如,发生位翻转或机器掉电,从而造成最近写入的数据丢失;
2、数据在网络传输过程中发生了损坏;
3、软件BUG。例如,在用户写入数据的过程中,一个存储服务器未响应,分布式存储系统却没有正确地将这台存储服务器排除在外。
为了检测多副本数据是否一致,一般采用控制服务器来控制各存储服务器,由存储服务器计算各自存储的副本数据的校验码,并返回给控制服务器。控制服务器收集各个副本数据的校验码,进行比较,以判定多副本数据是否一致。
发明人在实现本发明的过程中,发现现有技术至少存在如下问题:现有的多副本数据一致性检测方法仅适应于只读数据的检测。如果用户持续地更新数据(即,数据是动态变化的),则,由于数据在网络上的传输延迟,可能存在某些时刻,多个副本存在短时间内的不一致情况(部分副本数据还未更新),此时若进行校验码比较,则会得出不一致的结论,从而导致误报。
发明内容
本发明实施例提供一种多副本数据的一致性检测方法和装置以及电子设备,以降低一致性检测的误报率,提高系统性能。
为达到上述目的,本发明实施例提供了一种多副本数据的一致性检测方法,包括:控制服务器将待检测副本数据切分为数个数据片段,所述数据片段组成待检测集合;针对所述待检测集合中的每一个所述数据片段,向多台存储服务器发送校验码获取请求;所述存储服务器根据所述校验码获取请求,向所述控制服务器返回所述数据片段的校验码;所述控制服务器将多台所述存储服务器返回的所述校验码进行比较,当多台所述存储服务器返回的所述校验码相同时,删除所述待检测集合中相应的所述数据片段;当所述待检测集合为空时,判定所述待检测副本数据一致。
本发明实施例还提供了一种多副本数据的一致性检测方法,包括:控制服务器将待检测副本数据切分为数个数据片段,所述数据片段组成待检测集合;针对所述待检测集合中的每一个所述数据片段,向存储服务器发送校验码获取请求;所述存储服务器根据所述校验码获取请求,向所述控制服务器返回所述数据片段的校验码;所述控制服务器将所述存储服务器返回的所述校验码与存储于所述控制服务器中的校验码进行比较,当所述存储服务器返回的所述校验码与所述控制服务器中的校验码相同时,删除所述待检测集合中相应的所述数据片段;当所述待检测集合为空时,判定所述待检测副本数据一致。
本发明实施例还提供了一种多副本数据的一致性检测方法,包括:控制服务器针对待检副本数据,向多台存储服务器发送校验码获取请求;所述存储服务器根据所述校验码获取请求,向所述控制服务器返回所述待检测副本数据的校验码;所述控制服务器将多台所述存储服务器返回的所述校验码进行比较,当多台所述存储服务器返回的所述校验码相同时,判定所述待检测副本数据一致。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710536471.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:存储管理方法和系统
- 下一篇:利用日志结构合并树将数据写入的存储设备及其方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置