[发明专利]基于RS纠删码的数据存储方法

说明书

技术领域

本发明涉及的是一种信息处理技术领域的方法，具体是一种基于RS纠删码的数据存储方法。

背景技术

云存储是服务于云计算的一种存储方式，指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

随着信息时代的到来，海量信息的存储及对可靠性要求越来越高，存储成本和高可靠性始终是一对难以解决的矛盾。一方面通过增加备份数可以显著提高可靠性，但是存储量也随之成倍地增加；另一方面如果想节约成本，限制数据的备份数，一旦其中一份数据块的备份全部损坏时，整个文件或许都不能使用了，导致不可挽回的损失。

经过对现有的文献检索发现，目前基本所有的云存储技术都是采用了一种类似Hadoop(云计算中的一种开源软件)系统中的HDFS(Hadoop Distributed File System，即Hadoop分布式文件系统)。该技术主要是将一个数据文件按照设定的大小(如64M)分成大小n块，再通过对每一个数据块的完整备份(例如Hadoop中的HDFS分布式文件系统为3份相同备份：同一机架不同数据节点各一份，另外一机架上的数据节点1份)来带提高可靠性。但该技术最大的缺点是比较浪费空间：一个文件要备份2倍的额外存储空间，从而提高了成本。

发明内容

本发明的目的在于克服现有技术中存在的上述不足，提供一种基于RS纠删码的数据存储方法。本发明首先对待存储文件的所有原始数据进行分块和分组，然后对每一组数据再进行RS纠删码编码存储，在可以灵活设定可靠性的基础上，具有极大地节约存储空间，以节约成本的优点。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步，对待存储文件进行分块处理，从而得到N个大小相同的原始数据块，并对这些原始数据块进行分组处理，得到M个数据组。

所述的分块处理，是：将待存储文件按照固定大小T分为N个原始数据块，当最后一块原始数据块小于T时，对最后一块原始数据块填充冗余，使其大小正好是T。

所述的分组处理，是：将K个原始数据块作为一组，从而将N个原始数据块分为M组，其中最后一个原始数据组的原始数据块的个数小于或者等于K。

第二步，将每个数据组中的原始数据块逐块的从用户端传送到数据节点，当第i个数据组传输完毕后，接收到该数据组数据的数据节点将接收到的数据传送给管理节点指定的一个数据节点，该数据节点得到该组数据块的所有原始数据块信息，1≤i≤M。

第三步，得到第i组数据块的所有原始数据块信息的数据节点对该数据组进行RS编码，使第i个数据组从K_i个原始数据块变为K_i个原始数据块和R_i个冗余数据块，1≤i≤M，K_i是编码前第i个数据组中原始数据块的数目。

所述的RS编码是依次对每个原始数据块中w比特的数据按照下面的公式进行处理，得到对应该K_i个w比特原始数据的R_i个w比特的冗余数据，将第j冗余数据的所有w比特的冗余数据按顺序进行组合得到第j冗余数据块，1≤j≤R_i，具体公式是：

FD＝C，

其中：F是R_i×K_i的范得蒙德矩阵，D是第i个数据组中K_i个w比特原始数据组成的K_i×1的矩阵，C是编码后第i个数据组中R_i个w比特的冗余数据组成的R_i×1的矩阵。

第四步，将编码后的同一数据组中的数据块存储的若干个机架上，且同一机架上中同一数据组的数据块不超过R_i个。

第五步，当存储文件中有数据块损坏时，采用RS纠删码恢复数据块，得到恢复后的数据块。

所述的恢复数据块，是：

1)当损坏的数据块的数目小于或等于R_i时，通过下面的公式分别得到w比特的原始数据块，进而组合得到损坏的原始数据块或者是通过RS编码得到损坏的冗余数据块；

A′D＝E′，