[发明专利]一种基于分布式文件系统的分级存储方法以及相关装置在审
申请号: | 201711446273.9 | 申请日: | 2017-12-27 |
公开(公告)号: | CN108170789A | 公开(公告)日: | 2018-06-15 |
发明(设计)人: | 马顺 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请公开了一种基于分布式文件系统的分级存储方法,包括:根据分布式文件系统的数据存储类型设置分级存储的最小操作单位;判断分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小;若是,则根据最小操作单位对高性能存储空间中的原始数据执行分级存储操作。通过针对不同的存储类型设置对应的最小操作单位,降低分级存储过程中对文件存储系统的影响,提高数据读写的利用率,优化分级存储方法,提高系统整体的利用率。本申请还公开了一种基于分布式文件系统的分级存储装置、服务器以及计算机可读存储介质,具有上述有益效果。 1 | ||
搜索关键词: | 分级存储 分布式文件系统 最小操作 存储空间 计算机可读存储介质 分级存储装置 剩余存储空间 数据存储类型 文件存储系统 存储类型 数据读写 系统整体 相关装置 原始数据 预设 申请 服务器 优化 | ||
根据分布式文件系统的数据存储类型设置分级存储的最小操作单位;
判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小;
若是,则根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。
2.根据权利要求1所述的分级存储方法,其特征在于,服务器根据分布式文件系统的数据存储类型设置分级存储的最小操作单位,包括:所述服务器获取分布式文件系统的存储类型,
当所述存储类型为文件存储,将所述最小操作单位设置为PG;
当所述存储类型为对象存储,将所述最小操作单位设置为Buckets。
3.根据权利要求2所述的分级存储方法,其特征在于,根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作,包括:以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级;
若是,则将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据;
将所述待迁移数据以所述最小操作单位迁移至低性能存储空间。
4.根据权利要求3所述的分级存储方法,其特征在于,还包括:当对所述待迁移数据进行数据迁移时,获取所述分布式文件系统的读取负载;
当所述读取负载大于预设读取负载时,将所述数据迁移的速率限制在零速率到预设速率之间。
5.一种基于分布式文件系统的分级存储装置,其特征在于,包括:迁移单位设置模块,用于根据分布式文件系统的数据存储类型设置分级存储的最小操作单位;
剩余存储空间判断模块,用于判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小;
迁移模块,用于根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。
6.根据权利要求5所述的分级存储装置,其特征在于,所述迁移单位设置模块包括:存储类型获取单元,用于获取分布式文件系统的存储类型;
文件存储设置单元,用于当所述存储类型为文件存储,将所述最小操作单位设置为PG;
对象存储设置单元,用于当所述存储类型为对象存储,将所述最小操作单位设置为Buckets。
7.根据权利要求6所述的分级存储装置,其特征在于,所述迁移模块包括:优先级判断单元,用于以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级;
迁移数据标记单元,用于将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据;
分级存储单元,用于将所述待迁移数据以所述最小操作单位迁移至低性能存储空间。
8.根据权利要求7所述的分级存储装置,其特征在于,还包括:读取负载获取模块,用于当对所述待迁移数据进行数据迁移时,获取所述分布式文件系统的读取负载;
速率调整模块,用于当所述读取负载大于预设读取负载时,将所述数据迁移的速率限制在零速率到预设速率之间。
9.一种服务器,其特征在于,包括:存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述的分级存储方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的分级存储方法的步骤。该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711446273.9/,转载请声明来源钻瓜专利网。