[发明专利]数据存储、分散、重构、回收方法、装置及数据处理系统

说明书

本发明实施例公开了一种数据存储、分散、重构、回收方法、装置及数据处理系统，应用该存储方法，将待存储数据的各个数据片段分别存储至各个存储对象中，存储对象为存储数据的最小单元，各个存储对象中存储的数据片段份数的差值小于第一预设阈值，也就是说，本方案中，较均匀地将各个数据片段存储至多个存储对象中，能够避免一个存储对象出现故障，同一数据的多部分数据片段全部丢失，导致无法对该数据进行数据恢复的情况。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据存储、分散、重构、回收方法、装置及数据处理系统。

背景技术

磁盘阵列(Redundant Arrays of Independent Disks，RAID)技术，是指由多个磁盘组成一个大容量的磁盘组；将待存储数据分割成多个片段，分别存放在各个磁盘中。

在磁盘阵列中通常利用纠删码(erasure coding，EC)进行数据保护，纠删码策略可以用n＝k+m来表示，其中，k表示原始片段份数，m表示冗余片段份数，n表示总的数据片段份数。具体的，可以将待存储数据分割成k个原始片段，基于这k个原始片段进行扩展、编码，得到m个冗余片段；将这k个原始片段和m个冗余片段分别存储至各个磁盘中；这样，如果某个磁盘出现故障导致数据丢失，则可以根据未丢失的原始片段及冗余片段对丢失的数据片段进行恢复。

上述方案中，通常将各个数据片段(原始片段及冗余片段)随机地存储至各个磁盘中，可能导致多部分数据片段存储至一个磁盘中，如果该磁盘出现故障，该磁盘中存储的多部分数据片段可能全部丢失，导致无法进行数据恢复。

发明内容

本发明实施例的目的在于提供一种数据存储、分散、重构、回收方法、装置及数据处理系统，以避免一个磁盘出现故障，多部分数据片段全部丢失，导致无法进行数据恢复的情况。

为达到上述目的，本发明实施例公开了一种数据存储方法，包括：

根据预设的纠删码策略k+m，为待存储数据分配x个存储对象；其中，所述k 表示原始片段份数，所述m表示冗余片段份数，所述x大于1且不大于k+m，所述存储对象为存储数据的最小单元；

利用所述纠删码策略k+m，对所述待存储数据进行切片及冗余处理，得到 k+m个数据片段；

将所述k+m个数据片段分别存储至所述x个存储对象，其中，各个存储对象中存储的数据片段份数的差值小于第一预设阈值；

记录所述待存储数据对应的索引信息，所述索引信息包括：每个数据片段与存储所述数据片段的存储对象的对应关系。

为达到上述目的，本发明实施例还公开了一种数据分散方法，包括：

在所记录的索引信息中，确定待分散索引信息；其中，索引信息包括：每个数据片段与存储所述数据片段的存储对象的对应关系，所述存储对象为存储数据的最小单元；

根据所确定的待分散索引信息，确定待分散数据片段；

为所述待分散数据片段分配分散存储对象；

将所述待分散数据片段分别存储至所述分散存储对象；

更新所述待分散索引信息。

为达到上述目的，本发明实施例还公开了一种数据重构方法，包括：

在所记录的索引信息中，确定待重构索引信息；其中，索引信息包括：每个数据片段与存储所述数据片段的存储对象的对应关系，所述待重构索引信息中包含出现故障的存储对象的信息，所述存储对象为存储数据的最小单元；

根据所述待重构信息中包含的未出现故障的存储对象的信息，从所述未出现故障的存储对象中读取目标数据片段，所述目标数据片段为：所述待重构信息对应的待重构数据的每个数据片段；