[发明专利]一种元数据管理方法、元数据管理系统及存储介质在审
申请号: | 202011565566.0 | 申请日: | 2020-12-25 |
公开(公告)号: | CN112667577A | 公开(公告)日: | 2021-04-16 |
发明(设计)人: | 王志豪;罗心 | 申请(专利权)人: | 浙江大华技术股份有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F16/11;G06F16/182 |
代理公司: | 深圳市威世博知识产权代理事务所(普通合伙) 44280 | 代理人: | 黎坚怡 |
地址: | 310051 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据管理 方法 系统 存储 介质 | ||
1.一种元数据管理系统,其特征在于,包括:
元数据服务器,包括多个管理模块,所述管理模块用于对文件对应的元数据信息进行管理;
与所述管理模块一一对应的至少一个存储池,所述存储池与所述管理模块连接,所述存储池包括存储所述文件的数据节点服务器。
2.根据权利要求1所述的元数据管理系统,其特征在于,
所述文件对应的元数据信息包括所述文件的状态信息、所述文件的属性信息、所述文件内数据块的分布信息或所述元数据信息的持久化信息。
3.根据权利要求1所述的元数据管理系统,其特征在于,
所述管理模块用于在接收到客户端发送的文件创建请求后,从所述至少一个存储池中选择一个所述存储池作为目的存储池,并创建一个新文件,将所述新文件对应的元数据信息写入实时日志,发送所述新文件的身份标识号给所述客户端。
4.根据权利要求3所述的元数据管理系统,其特征在于,
所述管理模块还用于在接收到所述客户端发送的分配请求后,基于所述目的存储池为所述新文件分配相应的所述数据节点服务器,生成数据节点列表;其中,所述数据节点列表包括所述目的存储池中用来存储所述客户端写入的待写入数据的数据节点服务器。
5.根据权利要求4所述的元数据管理系统,其特征在于,
所述管理模块还用于基于所述数据节点列表生成地址端口列表,将所述地址端口列表发送给所述客户端,以使得所述客户端向与所述地址端口列表对应的所述数据节点服务器写入待写入数据,其中,所述地址端口列表包括所述数据节点列表中每个所述数据节点服务器对应的网际互连协议地址信息与端口信息。
6.根据权利要求1所述的元数据管理系统,其特征在于,
所述管理模块还用于在为创建的新文件分配相应的所述数据节点服务器后,生成分配节点信息,将所述分配节点信息写入实时日志中。
7.根据权利要求1所述的元数据管理系统,其特征在于,
客户端还用于在关闭所述管理模块创建的新文件时,将关闭所述新文件产生的元数据信息写入实时日志中,并向所述管理模块发送关闭请求;所述管理模块还用于在接收到所述客户端发送的关闭请求时,更新所述新文件的元数据信息,并持久化到所述实时日志中。
8.根据权利要求1所述的元数据管理系统,其特征在于,
所述数据节点服务器还用于按照预设时间间隔将自身的数据块信息汇报给所述管理模块;所述管理模块还用于在接收到所述数据节点服务器汇报的所述数据块信息时,根据所述数据块信息修改所述管理模块创建的新文件的状态信息。
9.根据权利要求1所述的元数据管理系统,其特征在于,
所述管理模块还用于在超过预设时间阈值或实时日志的大小达到预设值后,对所述存储池对应的所述实时日志进行合并,生成内存镜像文件,并将所述内存镜像文件存储到所述元数据服务器的磁盘中。
10.一种基于元数据管理系统的元数据管理方法,其特征在于,应用于元数据管理系统中元数据服务器中的管理模块,所述元数据管理系统为权利要求1-9中任一项所述的元数据管理系统,所述方法包括:
从至少一个存储池中选择一个所述存储池作为目的存储池;
基于所述目的存储池生成数据节点列表;其中,所述数据节点列表包括所述目的存储池中用来存储待写入数据的数据节点服务器;
基于所述数据节点列表生成地址端口列表,将所述地址端口列表发送给客户端,以使得所述客户端向与所述地址端口列表对应的所述数据节点服务器写入所述待写入数据,其中,所述地址端口列表包括所述据节点列表中每个所述数据节点服务器对应的网际互连协议地址信息与端口信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大华技术股份有限公司,未经浙江大华技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011565566.0/1.html,转载请声明来源钻瓜专利网。