[发明专利]一种基于块级的分级存储方法及系统

说明书

技术领域

本发明涉及数据智能管理领域，尤其涉及一种基于块级的分级存储方法及系统。

背景技术

数据分级存储技术主要是根据数据访问特征在存储虚拟层对存储设备组成的存储资源进行合理组织，形成多级的存储层次（如根据设备传输速率分为高速、中速和慢速存储设备，并可根据存储需求扩展到更多设备级别），并对上层应用需求进行特征提取和聚类处理，基于数据访问的局部性原理，构建应用数据与存储空间映射的数据特征模型，将不经常访问的数据自动迁移到存储成本层次中较低的设备，释放出较高成本的存储空间给更频繁访问或更高优先级的数据，从而大大减少非重要性数据在一级本地磁盘所占用的空间，加快整个系统的存储性能，降低整个存储系统的拥有成本，进而获得更好的性价比。

在现有的分级存储技术中主要是利用文件对象包括的多种数据特征属性，如文件大小，类型等进行数据特征的映射，将具有不同特征的数据进行分类管理。但是，基于文件级的分级存储以文件作为数据特征统计的基本单位，如果文件比较大，并且当只有局部信息经常被访问时，那么就存在对于热点数据定位不准确的问题，从而导致不能够将真正需要被分级的数据放置于高效且昂贵的存储资源上，不利于提高存储管理效率。

基于块级的分级存储是一种细粒度的数据分级管理方案，能够将数据管理的粒度细化到以根据应用需求所定义的扩展块级，但是现有工作中缺乏对于基于块数据的分级存储系统架构的深入研究。

发明内容

本发明提供一种基于块级的分级存储方法及系统，以解决上述问题。

本发明提供一种基于块级的分级存储方法。上述方法包括以下步骤：

块数据特征收集器获取块数据的特征值；

迁移管理器获取所述块数据的特征值，同时，根据从策略配置管理器获取的管理参数，依据预设策略，进行块数据迁移。

本发明还提供一种基于块级的分级存储系统，包括：

迁移管理器、块数据特征收集器、策略配置管理器、存储资源管理器；迁移管理器分别与块数据特征收集器、策略配置管理器相连；存储资源管理器分别与块数据特征收集器、策略配置管理器相连；

所述块数据特征收集器，用于获取块数据的特征值；

所述迁移管理器，用于获取所述块数据的特征值及从策略配置管理器获取的管理参数，依据预设策略，进行块数据迁移；

所述策略配置管理器，用于设置管理参数；

所述存储资源管理模块，用于按照性能由高到低的顺序组织磁盘并构建多级设备链表，将设备进行统一管理。

通过实施本发明的技术方案，实现了对于扩展块级的数据进行自动分级管理，能够解决数据分级存储管理过程中存在热点数据定位不准确的问题并能够有效提高存储资源的利用率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的分级存储系统架构示意图；

图2所示为本发明实施例2的数据迁移结构示意图；

图3所示为本发明实施例3的数据迁移窗口示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明提供了一种基于块级的分级存储方法，包括以下步骤：

块数据特征收集器获取块数据的特征值；

迁移管理器获取所述块数据的特征值，同时，根据从策略配置管理器获取的管理参数，依据预设策略，进行块数据迁移。

其中，迁移管理器获取块数据的特征值的途径为：块数据特征收集器获取块数据的特征值后，发送至迁移管理器。

其中，所述管理参数包括：块数据的扫描周期、不同层级设备上最大未使用时间。

其中，块数据特征收集器获取块数据的特征值的具体过程为：块数据特征收集器根据获取的读/写的引用次数的统计值，周期地计算每一个块数据的引用频率。

其中，所述预设策略为：

当迁移管理器到达扫描周期时，触发迁移工作开始，迁移工作遍历整个存储设备中的所有数据块，根据设备的最大未使用时间、数据块的最大未使用时间、块的访问引用计数的统计、设备的访问引用计数的统计，判断数据块是否向上级或者向下级进行迁移操作；预设某一阀值，若监控的块数据的特征值超过该阀值，则触发分级系统，开始基于块数据迁移。