[发明专利]一种分布式文件系统纠删码缓存装置及其缓存方法

摘要

本发明涉及一种分布式文件系统的纠删码缓存装置，其特征在于：包括配置模块、创建模块、记录模块、层级关联模块、阀值设置模块、对比模块、切片模块和迁移模块。本发明还涉及前述装置的数据处理方法。本发明提供的分布式文件纠删码缓存装置和方法，其第一层级采用副本存储技术，并以较大切片大小存放现有数据，第二层级采用纠删码存储技术，并以较小切片大小存放现有数据中访问较少的数据，充分兼顾了副本存储和纠删码存储的处理较大数据块的效率差别，在节省存储开销的同时，提高数据存储效率。

主权项

1.一种分布式文件系统纠删码缓存装置，其包括配置模块、创建模块、记录模块、层级关联模块、阀值设置模块、对比模块、切片模块和迁移模块；其中，1)配置模块位于管理节点上，其包括第一配置模块和第二配置模块，其中，—第一配置模块，用于设置第一存储池的名称、副本个数和分组规则，并生成第一存储池配置文件，—第二配置模块，用于设置第二存储池的名称、原始数据块个数、校验数据块个数和分组规则，并生成第二存储池配置文件；2)创建模块位于管理节点上，其包括第一创建模块和第二创建模块，其中，—第一创建模块，用于读取第一存储池配置文件，并根据对应的参数创建第一存储池，—第二创建模块，用于读取第二存储池配置文件，并根据对应的参数创建第二存储池；3)记录模块位于元数据服务节点上，其用于根据第一存储池配置文件和第二存储池配置文件，将第一存储池和第二存储池的参数记录到元数据节点中，并分配唯一的第一存储池标识和第二存储池标识，记录模块还用于记录第一、第二存储池的层级关联到存储池元数据；4)层级关联模块位于管理节点上，其用于从元数据服务节点获取原数据中存储池类型，并根据存储池的类型做关联：定义第一类型的副本存储池为第一层级，定义第二类型的纠删码存储池为第二层级；5)阀值设置模块位于管理节点上，其用于预设第一层级的第一存储池的数据向第二层级的第二存储池迁移的迁移阀值；6)对比模块位于元数据服务节点上，其用于实时获取第一存储池的空间使用量，并与阀值设置模块预设的数据迁移的阀值对比，当第一存储池的空间使用量达到阀值，则满足数据迁移条件；7)切片模块位于数据服务节点上，其用于读取元数据，并在文件进入第一层级的存储池之前，将文件的数据部分分割成若干较大数据切片，对于满足迁移条件的文件，在迁移到第二层级的存储池之前，将文件的数据部分分割成若干较小数据切片；8)迁移模块位于元数据服务节点上，其用于读取元数据，获得满足数据迁移条件文件所含数据块的分布，再把数据块从当前所在的存储单元中迁移到第二层级存储池所含的存储单元中。