[发明专利]一种基于分布式集群的存储系统在审
申请号: | 201810026676.6 | 申请日: | 2018-01-11 |
公开(公告)号: | CN108089825A | 公开(公告)日: | 2018-05-29 |
发明(设计)人: | 陈保平 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 济南舜源专利事务所有限公司 37205 | 代理人: | 张亮 |
地址: | 450000 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 缓存模块 客户端 存储处理模块 文件大小判断 聚合 预设 分布式集群 存储系统 读取 缓存 大小判断模块 缓存处理模块 存储模块 读取文件 判断结果 文件存储 文件写入 写入文件 小文件 磁盘 命中率 写入 反馈 | ||
1.一种基于分布式集群的存储系统,其特征在于,包括:
客户端、缓存模块、文件大小判断模块、缓存大小判断模块、存储处理模块、缓存处理模块、用于存储普通数据文件的普通存储模块以及用于存储聚合文件的聚合存储模块;
文件大小判断模块用于判断客户端写入文件的大小,当所述的文件大小小于第一预设值时,存储处理模块将所述文件存储至缓存模块;文件大小判断模块还用于判断客户端读取文件的大小,当所述的文件大小小于第一预设值时,存储处理模块将文件大小判断模块的判断结果反馈至客户端,客户端通过缓存模块读取所述文件;
缓存大小判断模块用于判断缓存模块中由存储处理模块存入的聚合文件的大小,当所述的聚合文件的大小达到第二预设值时,缓存处理模块将缓存模块中的聚合文件写入聚合存储模块;
存储处理模块还用于当文件大小判断模块判断客户端写入的文件大于第一预设值时,将所述文件直接存储至普通存储模块;还用于当文件大小判断模块判断客户端读取的文件大于第一预设值时,将文件大小判断模块的判断结果反馈至客户端,客户端直接从普通存储模块中读取所述文件;
缓存处理模块用于以紧密聚合方式将缓存中的聚合文件写入聚合存储模块,缓存处理模块每对聚合存储模块进行一次写操作均形成一个具有一定存储空间的聚合对象;缓存处理模块还用于在每个聚合对象起始位生成一个具有一定存储空间的对象头;
还包括:缓存位置判断模块;
缓存位置判断模块用于判断客户端读取的小于第一预设值的文件是否存在于缓存模块,当所述文件不存在于缓存模块时,缓存处理模块将所述文件所属的聚合对象读入缓存模块;客户端通过缓存模块读取所述文件;
还包括:定时清理模块;
定时清理模块用于定时扫描聚合对象中的文件,并当聚合对象中的文件的使用率低于第三预设值且扫描前第四预设值时间内没有被修改时,定时清理模块将所述的聚合对象中的文件重新按照紧密聚合方式写入聚合存储模块形成新的聚合对象,并删除原有的聚合对象;
文件大小判断模块还用于当客户端对聚合存储模块内的文件进行再写时,文件大小判断模块判断再写文件的大小,当所述的文件大小大于第一预设值时,存储处理模块将所述文件复制至普通存储模块,并将聚合存储模块中的所述文件删除;
第一预设值小于第二预设值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810026676.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种大规模冷数据存储系统
- 下一篇:生成半色调