[发明专利]一种元数据管理方法及装置有效
申请号: | 202110222334.3 | 申请日: | 2021-02-28 |
公开(公告)号: | CN113055448B | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 邵剑雄 | 申请(专利权)人: | 新华三信息技术有限公司 |
主分类号: | H04L67/1008 | 分类号: | H04L67/1008;H04L67/10;H04L67/1097 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 310052 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据管理 方法 装置 | ||
本说明书提供一种元数据管理方法及装置,涉及通信技术领域。一种元数据管理方法,应用于MDS集群,包括:接收MDS集群中其他的MDS节点所发送的心跳报文,其中,心跳报文中携带有负载特征信息;若接收到创建请求报文,则根据负载特征信息从MDS集群中确定出第一MDS节点;在第一MDS节点创建第一目录,并建立第一目录与第一MDS的对应关系;若接收到针对第一目录的写入操作,则根据对应关系将第一目录下的元数据写入到第一MDS。通过上述方法能够提升分布式文件系统的性能和文件访问效率。
技术领域
本说明书涉及通信技术领域,尤其涉及一种元数据管理方法及装置。
背景技术
分布式文件系统可以对外提供大容量、高性能以及高可靠性的文件存储服务,满足了云计算、物联网和社交网络等新兴应用服务对于大规模数据存储的需求。在分布式文件系统中,文件的元数据和数据分开进行存储和管理,元数据用于对文件进行描述,通过元数据可以确定文件的存储位置等,以实现对于文件的访问。
因此,在分布式文件系统中,如何高效地访问元数据将会影响到系统的性能和可靠性。在对元数据进行存储和管理时,可以通过多级目录的形式实现,这些目录整体称为一个目录树,一个目录的下级目录称为该目录的目录子树。在分布式文件系统中设置有多个MDS(元数据服务器,Meta Data Server)形成MDS集群,每个MDS可以负责缓存一部分目录子树并处理相应的元数据操作。
针对MDS集群而言,需要维持MDS之间的负载均衡,在当前的实现中,通过平均负载和一个MDS的负载差值确定是否进行迁移,这使得MDS对于负载非常敏感,迁移被频繁的触发。在迁移的过程中,这些被迁移的目录子树是无法被访问的,与其相关的访问请求被挂起直至迁移结束,这样一来,将会导致用户对于文件的访问阻塞,降低了分布式文件系统的文件访问效率。
发明内容
为克服相关技术中存在的问题,本说明书提供了一种元数据管理方法及装置。
结合本说明书实施方式的第一方面,本申请提供了一种元数据管理方法,应用于MDS集群,包括:
接收MDS集群中其他的MDS节点所发送的心跳报文,其中,心跳报文中携带有负载特征信息;
若接收到创建请求报文,则根据负载特征信息从MDS集群中确定出第一MDS节点;
在第一MDS节点创建第一目录,并建立第一目录与第一MDS的对应关系;
若接收到针对第一目录的写入操作,则根据对应关系将第一目录下的元数据写入到第一MDS。
可选的,MDS集群所管理的目录配置有第一扩展属性,其中,第一扩展属性用于表示管理以第一目录为根目录的目录子树的MDS节点;
在第一MDS节点创建第一目录,并建立第一目录与第一MDS的对应关系,包括:
在第一MDS节点创建第一目录;
通过第一扩展属性建立第一目录和第一MDS的对应关系。
可选的,负载特征信息,包括MDS节点所管理的目录子树的最大值和MDS节点当前管理的目录子树的数量;
根据负载特征信息从MDS集群中确定出第一MDS节点,包括:
根据最大值和数量,确定出MDS集群中的各MDS节点的占用比例;
从MDS集群中确定出占用比例最低的MDS节点,并将该MDS节点确定为第一MDS节点。
进一步的,MDS集群所管理的目录配置有第二扩展属性,其中,第二扩展属性用于表示从分布式文件系统的根目录至第一目录的深度;
MDS节点配置有目录层级,目录层级为分布式文件系统的根目录至该MDS节点所管理的目录的深度;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三信息技术有限公司,未经新华三信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110222334.3/2.html,转载请声明来源钻瓜专利网。