[发明专利]支持异构存储的高性能层次化存储系统

摘要

本发明提供了一种支持异构存储的高性能层次化存储系统，包括：文件系统模块，提供不同存储介质上的数据文件的统一访问；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点；元数据管理模块，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。本发明有效解决海量大数据访问低效问题，提升平台的数据存储和访问效率。

主权项

一种支持异构存储的高性能层次化存储系统，其特征在于，包括：文件系统模块，提供不同存储介质上的数据文件的统一访问；文件系统负责组织、管理、维护分布式文件系统存储的所有数据文件，文件在文件系统中以主文件、目录文件、元文件进行存储；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点，数据访问可以以并发的方式提高访问速度；数据块存储模块采用定长分块算法对数据块进行划分；该算法采用预先义好的块大小对文件进行切分，并进行弱校验值和md5强校验值；弱校验值主要是为了提升差异编码的性能，先计算弱校验值并进行hash查找，如果发现则计算md5强校验值并作进一步hash查找；由于弱校验值计算量要比md5小很多，因此可以有效提高编码性能；元数据管理模块，元数据是用来记录文件系统中文件和数据块的对应信息，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；提供了元数据多备份处理和版本控制，以实现元数据的容错性和高可用性；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。