[发明专利]用于机群文件系统的元数据存储系统和管理方法有效
申请号: | 201110366559.2 | 申请日: | 2011-11-17 |
公开(公告)号: | CN102364474A | 公开(公告)日: | 2012-02-29 |
发明(设计)人: | 陈卓;熊劲 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京泛华伟业知识产权代理有限公司 11280 | 代理人: | 王勇 |
地址: | 100190 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 机群 文件系统 数据 存储系统 管理 方法 | ||
1.一种机群文件系统中的元数据存储系统,该系统包括DRAM和 SDD;
所述DRAM包括多个元数据缓冲区和元数据索引单元;每个元数据 缓冲区中的元数据是按照写入的时间依次顺序写入的,每个元数据缓存区 对应一个用于存储该缓冲区的元数据索引信息的头结构;每次将元数据缓 冲区中的数据写回到SSD上时形成一个新的元数据索引单元,用于保存该 元数据缓冲区的头结构所包含的元数据索引信息;
所述SSD上包括元数据文件,所述元数据文件包含按照写回时间的顺 序组织的多个元数据存储单元;每次将一个元数据缓冲区中的数据写回到 SSD上时形成一个新的元数据存储单元,用于保存从该元数据缓冲区写入 的元数据;每个元数据存储单元对应于DRAM中的一个元数据索引单元。
2.根据权利要求1所述的元数据存储系统,该系统还包括用于保存来 自SSD的元数据的HDD。
3.根据权利要求1或2所述的元数据存储系统,其中,所述头结构包 括一个Bloom Filter和一个哈希表,所述Bloom Filter用来记录该元数据缓 冲区中保存了哪些元数据项,所述哈希表用于维护元数据项的标识符以及 该元数据项在元数据缓冲区中偏移量的映射。
4.根据权利要求1或2所述的元数据存储系统,其中SDD上还包括用 于存储元数据索引信息的元数据索引文件。
5.根据权利要求1或2所述的元数据存储系统,其中DRAM中还包括 读缓存模块,用于缓存从SSD读取的元数据。
6.一种用于如上述权利要求1或2所述的元数据存储系统的元数据管 理方法,所述方法包括:
步骤1)将元数据按照写入的时间依次顺序写入DRAM中的元数据缓 冲区中;
步骤2)当一个元数据缓冲区被写满后,将其顺序写回到SSD上以形 成一个新的元数据存储单元,同时将其头结构中对应的元数据索引信息以 元数据索引单元的形式保存在DRAM中,所述元数据存储单元按照写回 时间的顺序组织到一个元数据文件中。
7.根据权利要求6所述的方法,其中所述头结构包括一个Bloom Filter 和一个哈希表,所述Bloom Filter用来记录该元数据缓冲区中保存了哪些 元数据项,所述哈希表用于维护元数据项的标识符以及该元数据项在元数 据缓冲区中偏移量的映射。
8.根据权利要求6所述的方法,其中步骤2)还包括在将一个元数据 缓冲区顺序写回到SSD的同时,将其对应的元数据索引信息也顺序写回到 SSD上的元数据索引文件中。
9.根据权利要求7所述的方法,其中步骤2)还包括在将一个元数据 缓冲区写回到SSD时,根据其头结构中的元数据项的标识符来判断SSD 上哪些数据项已经无效的步骤;以及
在已经无效的元数据项所在的元数据存储单元对应的元数据索引单 元中对该元数据项做无效标记的步骤。
10.根据权利要求7所述的方法,其中以64叉树和链接结合的方式来 组织的Bloom Filter,每颗64叉树的深度不超过2层,多个64叉树组成 一个链表,其中每个64叉树的非叶子节点的对应的Bloom Filter是其孩子 节点的Bloom Filter的异或结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110366559.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置