[发明专利]分布式数据存储方法、控制设备和系统

说明书

一种分布式数据存储方法、控制设备和系统，该方法包括：将所述待存储数据划分为m²个数据块；根据生成第一校验块集合(P₁,P₂,...,P_m)(102)；其中，根据P_m+i＝(X_i,X_i+m,...,X_i+m(m‑1))(α^{(m‑1)(i‑1)},...,α^2(i‑1),α^i‑1,α⁰)生成与所述待存储数据对应的第二校验块集合(P_m+1,...,P_2m)；根据P_all＝P₁+P₂+...+P_2m生成与所述待存储数据对应的第三校验块集合(P_all)；将m²个数据块和2m+1个校验块分别发送到不同的存储设备中存储(105)。由于每个校验块均与m个数据块线性相关，将数据块和检验块分别存储到不同的存储设备中，能够以更小的重建成本恢复发生故障的多个分块。

技术领域

本发明实施例涉及数据存储技术领域，尤其涉及一种分布式数据存储方法、控制设备和系统。

背景技术

数据的爆炸式增长使得存储系统的规模不断增加，分布式网络存储系统采用可扩展的系统结构，将数据分散存储在多台独立的存储设备上，利用多个存储设备分担存储负荷，利用控制设备定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展，从而得到广泛应用。图1为分布式存储系统架构图，如图1所示，分布式存储系统由多个设备组成，每个设备都是一台可独立运行的计算机设备，各设备可以通过网络设备互联。分布式存储系统中的设备分为两类：控制设备和存储设备，两类设备均安装了操作系统、TCP/IP协议软件，并配置了网络环境。其中，一个控制设备，安装有数据写入管理程序，负责与用户交互；多个存储设备负责存储数据对象的数据块和编码块或称校验块。

为了保证分布式存储系统的数据可靠性，一种常用的方式是采用冗余编码策略将原始数据分成多个数据块，然后对各数据块进行冗余编码，在丢失一定量的数据块时，原始数据仍旧可以恢复。以瑞德所罗门码(Reed Solomon codes，简称RS码)(n，k，n-k+1)(n＞k)为例简单介绍采用冗余编码策略的存储方式：对任意一个原始数据，将它分成k个数据块，分别存储在k个不同的存储节点中，利用码RS(n，k，n-k+1)所对应的生成矩阵以及这k个数据块，可以生成n-k个校验块，将这n-k个校验块存储在另外n-k个存储节点中。因此当要读取这个原始数据时，如果有少于或等于n-k个分块(数据块和/或校验块)发生故障，则可以利用剩下的任意k个存活分块恢复出故障分块。由于n个存储节点中的各存储节点仅存储数据块和检验快中的一个分块，具有较低的存储成本即具有较佳的存储效率。但是却带来了昂贵的修复成本，比如对码RS(14，10，5)来说，一个存储节点出现故障后需要访问10个存储节点才能修复故障存储节点中存储的分块，码RS(9，6，4)需要访问9个存储节点来修复。因此，如何达到存储效率、修复成本和数据可靠性的折中成为制约编码策略发展的重要问题。目前，相关研究者给出了一个折中不等式如下：

d≤n-「k/r」-k+2

其中，k代表原始待存储数据被划分为的数据块的个数，n代表编码后的数据块的个数即码长，n和k合起来用来衡量存储效率；d代表码距，即使得任意擦除d个数据块时，原始数据就无法恢复了，用来衡量存储可靠性；r为重建参数，代表当一个数据块失效时，最多访问的其它数据块个数，用来衡量重建成本。对于一组编码参数，如果能够使得上述不等式的等号成立，则称之为最优可局部重建码(locally reconstructed code，简称LRC码)。