[发明专利]数据处理方法以及装置有效
申请号: | 202210299496.1 | 申请日: | 2022-03-25 |
公开(公告)号: | CN114415971B | 公开(公告)日: | 2022-09-23 |
发明(设计)人: | 张锋;徐立;吴强强 | 申请(专利权)人: | 阿里云计算有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/16;G06F16/182 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 310024 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 以及 装置 | ||
1.一种数据处理方法,应用于分布式文件系统中的元数据管理节点,包括:
确定待处理元数据在目录树中的目录层级,基于所述目录层级为所述待处理元数据分配数组标识,其中,所述数组标识为所述目录层级在目录树中的节点对应的标识;
基于所述数组标识以及所述目录树中的元数据,构建所述待处理元数据对应的元数据管理表,其中,所述数组标识作为所述元数据管理表中的键值;
在确定所述元数据管理表中的数据满足预设拆分条件的情况下,基于所述数组标识对所述元数据管理表进行拆分处理,并基于拆分结果对所述待处理元数据所在的目录树进行切分处理。
2.根据权利要求1所述的数据处理方法,所述基于所述目录层级为待处理元数据分配数组标识,包括:
基于所述目录层级确定所述待处理元数据的字段层级,并基于所述字段层级以及预设数组字段为所述待处理元数据分配数组标识。
3.根据权利要求2所述的数据处理方法,所述基于所述字段层级为所述待处理元数据分配数组标识之后,还包括:
确定预设数组字段的总字节数,基于所述总字节数确定所述字段层级对应的层级字节数;
基于所述层级字节数对所述数组标识进行缩写处理,获得所述数组标识的数组缩写标识。
4.根据权利要求1所述的数据处理方法,所述基于所述数组标识以及所述目录树中的元数据,构建所述待处理元数据对应的元数据管理表,包括:
从所述目录树中的元数据中,确定与所述待处理元数据的数据类型相同的元数据;
基于所述数组标识以及所述数据类型相同的元数据,构建所述待处理元数据对应的元数据管理表。
5.根据权利要求1所述的数据处理方法,所述基于所述数组标识对所述元数据管理表进行拆分处理,包括:
接收针对元数据管理表的拆分执行指令,响应于所述拆分执行指令基于所述数组标识对所述元数据管理表进行拆分处理。
6.根据权利要求1或5所述的数据处理方法,所述基于切分结果对所述待处理元数据所在的目录树进行切分处理之后,还包括:
确定所述目录树的切分数组标识;
将所述切分数组标识下的所有子目录树分配至所述分布式文件系统中除所述元数据管理节点以外的其他管理节点进行管理。
7.根据权利要求1所述的数据处理方法,所述基于所述数组标识以及所述目录树中的元数据,构建所述待处理元数据对应的元数据管理表之后,还包括:
接收针对所述数组标识的子目录树的目录移动指令;
响应于所述目录移动指令,将所述子目录树移动至所述目录移动指令中携带的目标数组位置,其中,所述目标数组位置对应的管理节点与所述子目录树对应的管理节点不同。
8.根据权利要求7所述的数据处理方法,所述将所述子目录树移动至所述目录移动指令中携带的目标数组位置之后,还包括:
基于移动结果对所述元数据管理表进行更新,其中,所述移动结果中的数组标识在更新过程中不变。
9.一种数据处理装置,应用于分布式文件系统中的元数据管理节点,包括:
标识分配模块,被配置为确定待处理元数据在目录树中的目录层级,基于所述目录层级为所述待处理元数据分配数组标识,其中,所述数组标识为所述目录层级在目录树中的节点对应的标识;
数据管理模块,被配置为基于所述数组标识以及所述目录树中的元数据,构建所述待处理元数据对应的元数据管理表,其中,所述数组标识作为所述元数据管理表中的键值;
在确定所述元数据管理表中的数据满足预设拆分条件的情况下,基于所述数组标识对所述元数据管理表进行拆分处理,并基于拆分结果对所述待处理元数据所在的目录树进行切分处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司,未经阿里云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210299496.1/1.html,转载请声明来源钻瓜专利网。