[发明专利]一种元数据的存储方法、装置在审
申请号: | 201310148436.0 | 申请日: | 2013-04-25 |
公开(公告)号: | CN103279489A | 公开(公告)日: | 2013-09-04 |
发明(设计)人: | 姚新明 | 申请(专利权)人: | 安科智慧城市技术(中国)有限公司;智慧城市信息技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 张全文 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 方法 装置 | ||
技术领域
本发明属于计算机存储应用领域,尤其涉及一种元数据的存储方法、装置。
背景技术
在云存储系统中,不同于单机文件系统将文件的内容和元数据(元数据:描述数据及其环境的数据)存储到同台机器,云存储系统需要文件系统将元数据由一台元数据服务器存储,文件的内容分块后存储到多台独立的存储节点上,整个存储系统将存储海量的文件,单个文件的内容可达PB级别(100万GB空间)。文件元数据需要支持名字空间(Namespace,NS),NS即文件系统文件目录的组织方式,是文件系统的重要组成部分,为用户提供可视化的、可理解的文件系统视图,从而解决或降低人类与计算机之间在数据存储上的语义间隔。元数据具有对文件需要快速定位、系统需要高可靠性、恢复性快等特点,因此在云存储系统中,一种满足业务需求,能够快速检索,又能存储大量信息的元数据结构化存储非常重要。
对现有技术的检索,Linux文件系统、NTFS、EXT、ZFS、XFS等文件系统都有自带的名字空间系统,但是该名字空间系统只能和本机存储的文件的内容关联,不能和其它存储节点存储的文件的内容关联,不适合云存储系统。
另外,对现有技术的检索,开源项目云存储系统(Hadoop Distributed File System,HDFS)中采用将元数据的名字空间存储到内存中,并定期将内存中的数据回写到磁盘,此种方法内存的大小限制了整个云存储的规模,另外内存回写到磁盘需要很长的时间,例如,对于10G内存,100M/S的磁盘,需要将近2分钟才能完全数据的写入,会导致在此期间服务不可用,因此适合离线处理系统,不适合实时在线服务,服务的恢复时间也会比较长。
发明内容
本发明实施例提供了一种元数据的存储方法、装置,旨在解决现有技术提供的元数据的存储方法,会导致检索时间较长的问题。
一方面,提供一种元数据的存储方法,所述方法包括:
建立元数据对象模型;
根据元数据生成所述元数据对象模型中的元数据对象的标识、关键字和属性值;
按照关键字的排序规则依次存储所述元数据对象至元数据节点中。
进一步地,所述建立元数据对象模型包括:
对元数据进行分类,划分为:目录对象、文件对象、统计信息对象和文件块对象;
每一类元数据对象均由对象标识、关键字和属性值组成。
进一步地,关键字用于定位元数据对象的存储位置,属性值用于描述元数据对象的属性。
进一步地,元数据对象的标识生成规则是:根目录的目录对象标识为系统初始化生成,根目录下的子目录的目录对象的标识递增,子目录下的文件对象的标识递增。
进一步地,关键字包括父对象标识、对象标识、对象偏移和对象类型;
关键字排序的优先级别由高到低依次为:父对象标识,对象标识,对象偏移。
另一方面,提供一种元数据的存储装置,所述装置包括:
对象模型建立单元,用于建立元数据对象模型;
元数据对象设置单元,用于根据元数据生成所述元数据对象模型中的元数据对象的标识、关键字和属性值;
元数据对象存储单元,用于按照关键字的排序规则依次存储所述元数据对象至元数据节点中。
进一步地,所述对象模型建立单元包括:
分类单元,用于对元数据进行分类,划分为:目录对象、文件对象、统计信息对象和文件块对象;
组成设置单元,用于每一类元数据对象均由对象标识、关键字和属性值组成。
进一步地,关键字用于定位元数据对象的存储位置,属性值用于描述元数据对象的属性。
进一步地,元数据对象的标识生成规则是:根目录的目录对象标识为系统初始化生成,根目录下的子目录的目录对象的标识递增,子目录下的文件对象的标识递增。
进一步地,关键字包括父对象标识、对象标识、对象偏移和对象类型;
关键字排序的优先级别由高到低依次为:父对象标识,对象标识,对象偏移。
在本发明实施例,建立的元数据对象模型中,包括各个元数据对象的关键字,该关键字是根据预设的排序规则生成的,并且,各个元数据对象的存储是按照关键字的排序规则进行存储。这样,后续,进行元数据对象的查找时,可以利用二分法快速定位到所要查找的元数据对象,实现了快速检索的目的。
附图说明
图1是本发明实施例一提供元数据的存储方法的实现流程图;
图2是本发明实施例一提供的元数据对象和文件块的存储方式示意图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于安科智慧城市技术(中国)有限公司;智慧城市信息技术有限公司,未经安科智慧城市技术(中国)有限公司;智慧城市信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310148436.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种防护型胶带
- 下一篇:一种锡铜合金箔防爆材料的涂覆工艺
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置