[发明专利]一种分布式存储系统的纠删码优化方法

说明书

本发明提供了一种分布式存储系统的纠删码优化方法，该方法利用纠删码的特点，减小纠删码条带的大小。小的条带更能满足满条带写，对于未满条带的部分，可以使读取补齐的数据最小化。大于大IO，小条带会把请求数据切分成很多个条带，利用内存引用技术，进行逻辑层的小条带合并，保证了大IO会把被切分，性能不受影响。本纠删码优化方法把纠删码的条带最小化，减少了未满条带写时读取补齐数据的数据量。前段不需要设置缓存池也能保证较高的读写性能，大大增加了数据的安全性和减少了前段的内存消耗。

技术领域

本发明涉及数据存储技术领域，具体的说是涉及一种分布式存储系统的纠删码优化方法。

背景技术

随着信息化时代的来临，全球数据量正处于爆炸式增长的趋势。提高存储系统可靠性以及保障数据可用性已成为企业的研究重点。现有的分布式存储系统中，绝大多数是通过多副本技术来提升系统可靠性、可用性、性能以及可扩展性。但在大数据时代，存储规模越来越大，多副本技术的系统开销将越来越大。相对于副本技术，纠删码技术具有更高存储效率，并且能降低网络中的数据流量。但纠删码需要消耗较大的CPU资源，读写流程比较复杂，需要对齐读写。现有的技术纠删码存储系统中，大多需要在前段实现缓存池，先把数据写到缓存池中，等满足一定条件时再把缓存池中的数据刷到后端存储。这种方法可以保证大部分写请求都是满条带写，避免了传统写操作前需要先读取未满条带数据的步骤，但缓存可能造成数据丢失，大大降低了数据的安全性。

发明内容

针对现有技术中的不足，本发明要解决的技术问题在于提供了一种分布式存储系统的纠删码优化方法。

为解决上述技术问题，本发明通过以下方案来实现：一种分布式存储系统的纠删码优化方法，该方法是利用纠删码的特点，减小纠删码条带的大小，小的条带更能满足满条带写，对于未满条带的部分，使读取补齐的数据最小化；大于大IO，小条带把请求数据切分成很多个条带，利用内存引用技术，进行逻辑层的小条带合并，保证了大IO被切分，性能不受影响；所述方法把纠删码的条带最小化，减少了未满条带写时读取补齐数据的数据量，前段不需要设置缓存池也能保证较高的读写性能，增加数据的安全性和减少了前段的内存消耗；

所述方法包括分布式存储系统，该分布式存储系统包括：

控制主机：所述控制主机生成虚拟磁盘，作为存储数据路径的前端主机，完成数据接收、转发功能；

存储主机：所述存储主机分布于存储系统中，数据最终的存放地点将存储资源抽象成多个存储组件，每个组件由大型的稀疏文件链组成；

所述方法还包括(k+r，k)纠删码存储虚拟磁盘，该(k+r，k)纠删码存储虚拟磁盘包括k 个数据组件，r个校验组件；

(k+r，k)纠删码虚拟磁盘的一个纠删码条带包含k个数据块和r个校验块，数据块的大小为n字节；前段虚拟磁盘写入k*n个字节的数据，会被拆分成k份，分别写入到k个数据组件中，根据纠删码算法，计算出r个校验数据块，分别写入到r个校验组件中；

纠删码写入时需要计算校验数据，数据偏移量和数据长度必须对齐数据块大小，如果没有满足该条件必须先到后端组件上读取数据补齐条带；如果数据偏移量没有对齐，需要读取条带头，如果数据长度没有对齐，需要读取条带尾；

所述方法还包括纠删码数据拆分重组方法，该纠删码数据拆分重组方法是通过多个数据条带在内存中进行数据拆分重组后，只需进行一次纠删码运算；

所述分布式存储系统的纠删码优化方法如下：

①：基本变量说明，数据块个数k为4，校验块个数为2，数据大小n为1K，条带大小s为n*k＝4K，数据偏移量为offset，数据长度为length；