[发明专利]一种基于分布式文件系统的分级存储方法以及相关装置

说明书

本申请公开了一种基于分布式文件系统的分级存储方法，包括：根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；判断分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；若是，则根据最小操作单位对高性能存储空间中的原始数据执行分级存储操作。通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。本申请还公开了一种基于分布式文件系统的分级存储装置、服务器以及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质。

背景技术

随着信息技术的发展，网络中产生的数据越来越多。在不同的领域所产生的数据量一般都达到了PB级别。面对不断增长的数据量，在访问、存储以及管理数据方面都变得越来越困难，所花费的成本也变得越来越高昂。

实际上，数据通常具有使用的周期，在不同的时期数据具有不同的意义。例如，在数据刚刚生成时，访问频率较高，数据价值也是最高的，随着时间的推移，访问频率降低，数据的价值也会随之下降。并且，一把情况低访问频率的数据量远远超过了高访问频率的数据量。因此，一般的会按照数据的不同访问频率将数据分级存储，将高访问频率的数据存储在高性能磁盘系统中，将低访问频率的数据存储在低性能磁盘系统中。通过将不同的数据分级存放，使硬件系统的新能得到了充分的利用，降低了维护成本。

但是，目前在进行数据分类存放中，都是以OSD(Object Storage Device，对象存储设备)为基本的操作单位，在分级存储的过程中占用大量的系统资源，对正常使用造成影响，并没有起到分级存储应有的作用。

因此，如何使数据分类存储的过程中，降低对系统的影响，提高性能的利用率，是本领域技术人员所关注的热点问题。

发明内容

本申请的目的是提供一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质，通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。

为解决上述技术问题，本申请提供一种基于分布式文件系统的分级存储方法，包括：

根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；

判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；

若是，则根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。

可选的，服务器根据分布式文件系统的数据存储类型设置分级存储的最小操作单位，包括：

所述服务器获取分布式文件系统的存储类型；

当所述存储类型为文件存储，将所述最小操作单位设置为PG；

当所述存储类型为对象存储，将所述最小操作单位设置为Buckets。

可选的，根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作，包括：

以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级；

若是，则将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据；

将所述待迁移数据以所述最小操作单位迁移至所述低性能存储空间。

可选的，该方法还包括：

当对所述待迁移数据进行数据迁移时，获取所述分布式文件系统的读取负载；