[发明专利]一种分布式系统中的海量文件储存方法及装置

摘要

本发明提供了一种分布式系统中的海量文件存储方法及装置，其中，方法包括：对待存储的2n个数据文件进行编码生成m个全局校验块文件；将所述2n个数据文件分成k组，对每组数据文件进行编码生成对应的局部校验块文件；按照一个服务器仅存储一个文件的存储方式，将所述2n个数据文件、所述m个全局校验块文件以及所述k个局部校验块文件存储在分布式系统中的2n+m+k个服务器中。该方案对原始数据进行编码处理，计算全局校验块文件和局部校验块文件，然后，在分布式系统中只需要存储原始数据文件和校验块文件，而不用存储原始数据文件的多个副本，在保障存储可靠性不下降的前提下，显著提高了存储设备的使用率。

主权项

1.一种分布式系统中的海量文件存储方法，其特征在于，所述方法包括：对待存储的2n个数据文件进行编码生成m个全局校验块文件；所述全局校验块文件能够与所述2n个数据文件中的部分数据文件通过编码方式恢复得出所述2n个数据文件中的其余数据文件；将所述2n个数据文件分成k组，对每组数据文件进行编码生成对应的局部校验块文件；所述局部校验块文件能够在对应的组内仅有一个数据文件损坏的情况下，与组内的其他数据文件通过编码方式恢复得出已损坏的数据文件；其中，n、m、k取值均为预先设置的正整数，且2n大于m，n大于p；按照一个服务器仅存储一个文件的存储方式，将所述2n个数据文件、所述m个全局校验块文件以及所述k个局部校验块文件存储在分布式系统中的2n+m+k个服务器中；所述服务器能够为用户提供数据访问服务；根据用户触发的数据文件访问请求和预先存储的每个数据文件编号与所存储在的服务器编号之间的对应关系，触发存储有待访问数据文件的服务器，以使被触发的服务器响应所述请求为用户反馈数据；所述数据文件访问请求携带有待访问数据文件编号；当存储有待访问数据文件的服务器无法响应时，根据预先存储的每个组的数据文件编号与局部校验块文件编号之间的对应关系以及每个文件所在的服务器编号，判断所述待访问数据文件所在组的其他数据文件所在的服务器是否都能够提供服务，如果是，则从对应的服务器获取局部校验块文件和组内其他的数据文件，对所述局部校验块文件和所述其他的数据文件中的数据进行编码处理，以恢复得到所述待访问的数据文件，将所述待访问的数据文件反馈给用户；所述编码处理采用的编码算法与所述局部校验块文件生成时所采用的编码算法一致。