[发明专利]一种数据分级存储方法及系统

说明书

技术领域

本发明属于数据智能管理领域，尤其涉及一种数据分级存储方法及系统。

背景技术

数据分级存储技术主要是根据数据访问特征在存储虚拟层对存储设备组成的存储资源进行合理组织，形成多级的存储层次，释放出较高成本的存储空间给更频繁访问或更高优先级的数据，加快整个系统的存储性能，降低整个存储系统的拥有成本，进而获得更好的性价比。

在现有的分级存储方案中，所管理的数据对象主要包括两类，文件或者数据块。基于数据块的分级方案具备热点数据定位准确的特性，但是由于数据块位于系统底层，因此所包含的属性较少，导致不能够满足多种上层应用需求。

基于文件级的分级方案主要是利用文件对象包含的多种数据特征属性（如文件大小，类型等）进行存储层级的关系映射，然后根据映射关系将具有不同特征的数据进行分类管理，因此更加能够满足不同用户针对多种应用场景的需求；为了能够使基于文件级的分级存储方法更具通用性，需要提供一种灵活便捷的数据分级管理方式。

发明内容

本发明提供一种数据分级存储方法及系统，以解决上述问题。

本发明提供一种数据分级存储方法。上述方法包括以下步骤：

预设放置与迁移策略并对文件系统的inode节点进行扩展，为每个节点添加分级存储设备等级标志符home_tid与dest_tid；

根据获得的放置与迁移策略，进行数据放置与迁移操作。

本发明还提供一种数据分级存储系统，包括：设置模块、放置及迁移模块；所述设置模块与放置及迁移模块相连；

所述设置模块，用于预设放置与迁移策略并对文件系统的inode节点进行扩展，为每个节点添加分级存储设备等级标志符home_tid与dest_tid；

所述放置及迁移模块，用于根据获得的放置与迁移策略，进行数据放置与迁移操作。

通过实施本发明的技术方案，使得文件级的分级存储更具通用性，更加灵活便捷。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的文件系统扩展示意图；

图2所示为本发明实施例2的数据放置过程示意图；

图3所示为本发明实施例3的数据迁移过程示意图；

图4所示为本发明实施例4的数据分级系统结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明提供一种数据分级存储方法，包括以下步骤：

预设放置与迁移策略并对文件系统的inode节点进行扩展，为每个节点添加分级存储设备等级标志符home_tid与dest_tid；

根据获得的放置与迁移策略，进行数据放置与迁移操作。

其中，home_tid表示数据在被执行迁移操作之前的源设备等级；dest_tid表示数据在执行迁移操作之后将被放置到的目标设备等级。

其中，根据获得的放置与迁移策略，进行数据放置与迁移操作的过程为：从放置与迁移策略获取定义的分级存储设备挂载点以及层级信息，还包括放置与迁移策略信息；

对分级存储设备上所挂载的文件系统扩展属性进行验证，对于不具备所定义标识符的文件系统挂载点，直接中止执行。

其中，利用verify_mount_point函数对/proc/mounts下挂载的文件系统类型进行判断，是否为满足扩展文件系统的要求以及是否具备user_xattr扩展属性，以完成对于inode中分级标识符的启用检验。

其中，在具备了扩展文件系统的支撑能力后，分级存储系统利用devicemapper来获取设备拓扑结构，根据该拓扑结构获得分级设备的级别信息以及分区信息，在分级存储设备上开始进行数据的分级迁移与放置过程。

其中，根据获得的放置与迁移策略，进行数据放置操作的过程为：

获取分级设备上挂载的扩展文件系统的目录结构，以便能够对整个文件系统中被管理的文件进行统计分析；

获取保存的系统启动时设置的放置策略关键信息，从中读取放置策略信息；

验证被管理文件的特征是否与放置策略相符，如果相符合，则根据获取的数据放置策略信息对遍历的文件的节点inode进行更新，然后重分配存储空间将文件迁移到配置的设备上；否则，将节点中的等级标识符设置为默认层级。