[发明专利]一种元数据的存储方法、装置在审

专利信息
申请号: 201310148436.0 申请日: 2013-04-25
公开(公告)号: CN103279489A 公开(公告)日: 2013-09-04
发明(设计)人: 姚新明 申请(专利权)人: 安科智慧城市技术(中国)有限公司;智慧城市信息技术有限公司
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 深圳中一专利商标事务所 44237 代理人: 张全文
地址: 518000 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 存储 方法 装置
【说明书】:

技术领域

发明属于计算机存储应用领域,尤其涉及一种元数据的存储方法、装置。

背景技术

在云存储系统中,不同于单机文件系统将文件的内容和元数据(元数据:描述数据及其环境的数据)存储到同台机器,云存储系统需要文件系统将元数据由一台元数据服务器存储,文件的内容分块后存储到多台独立的存储节点上,整个存储系统将存储海量的文件,单个文件的内容可达PB级别(100万GB空间)。文件元数据需要支持名字空间(Namespace,NS),NS即文件系统文件目录的组织方式,是文件系统的重要组成部分,为用户提供可视化的、可理解的文件系统视图,从而解决或降低人类与计算机之间在数据存储上的语义间隔。元数据具有对文件需要快速定位、系统需要高可靠性、恢复性快等特点,因此在云存储系统中,一种满足业务需求,能够快速检索,又能存储大量信息的元数据结构化存储非常重要。

对现有技术的检索,Linux文件系统、NTFS、EXT、ZFS、XFS等文件系统都有自带的名字空间系统,但是该名字空间系统只能和本机存储的文件的内容关联,不能和其它存储节点存储的文件的内容关联,不适合云存储系统。

另外,对现有技术的检索,开源项目云存储系统(Hadoop Distributed File System,HDFS)中采用将元数据的名字空间存储到内存中,并定期将内存中的数据回写到磁盘,此种方法内存的大小限制了整个云存储的规模,另外内存回写到磁盘需要很长的时间,例如,对于10G内存,100M/S的磁盘,需要将近2分钟才能完全数据的写入,会导致在此期间服务不可用,因此适合离线处理系统,不适合实时在线服务,服务的恢复时间也会比较长。

发明内容

本发明实施例提供了一种元数据的存储方法、装置,旨在解决现有技术提供的元数据的存储方法,会导致检索时间较长的问题。

一方面,提供一种元数据的存储方法,所述方法包括:

建立元数据对象模型;

根据元数据生成所述元数据对象模型中的元数据对象的标识、关键字和属性值;

按照关键字的排序规则依次存储所述元数据对象至元数据节点中。

进一步地,所述建立元数据对象模型包括:

对元数据进行分类,划分为:目录对象、文件对象、统计信息对象和文件块对象;

每一类元数据对象均由对象标识、关键字和属性值组成。

进一步地,关键字用于定位元数据对象的存储位置,属性值用于描述元数据对象的属性。

进一步地,元数据对象的标识生成规则是:根目录的目录对象标识为系统初始化生成,根目录下的子目录的目录对象的标识递增,子目录下的文件对象的标识递增。

进一步地,关键字包括父对象标识、对象标识、对象偏移和对象类型;

关键字排序的优先级别由高到低依次为:父对象标识,对象标识,对象偏移。

另一方面,提供一种元数据的存储装置,所述装置包括:

对象模型建立单元,用于建立元数据对象模型;

元数据对象设置单元,用于根据元数据生成所述元数据对象模型中的元数据对象的标识、关键字和属性值;

元数据对象存储单元,用于按照关键字的排序规则依次存储所述元数据对象至元数据节点中。

进一步地,所述对象模型建立单元包括:

分类单元,用于对元数据进行分类,划分为:目录对象、文件对象、统计信息对象和文件块对象;

组成设置单元,用于每一类元数据对象均由对象标识、关键字和属性值组成。

进一步地,关键字用于定位元数据对象的存储位置,属性值用于描述元数据对象的属性。

进一步地,元数据对象的标识生成规则是:根目录的目录对象标识为系统初始化生成,根目录下的子目录的目录对象的标识递增,子目录下的文件对象的标识递增。

进一步地,关键字包括父对象标识、对象标识、对象偏移和对象类型;

关键字排序的优先级别由高到低依次为:父对象标识,对象标识,对象偏移。

在本发明实施例,建立的元数据对象模型中,包括各个元数据对象的关键字,该关键字是根据预设的排序规则生成的,并且,各个元数据对象的存储是按照关键字的排序规则进行存储。这样,后续,进行元数据对象的查找时,可以利用二分法快速定位到所要查找的元数据对象,实现了快速检索的目的。

附图说明

图1是本发明实施例一提供元数据的存储方法的实现流程图;

图2是本发明实施例一提供的元数据对象和文件块的存储方式示意图;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于安科智慧城市技术(中国)有限公司;智慧城市信息技术有限公司,未经安科智慧城市技术(中国)有限公司;智慧城市信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201310148436.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top