[发明专利]索引管理方法、装置及电子设备在审
申请号: | 202110264712.4 | 申请日: | 2021-03-11 |
公开(公告)号: | CN112783835A | 公开(公告)日: | 2021-05-11 |
发明(设计)人: | 李金阳 | 申请(专利权)人: | 百果园技术(新加坡)有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/18;G06F16/182 |
代理公司: | 北京博遵律师事务所 11761 | 代理人: | 马佑平 |
地址: | 新加坡巴西班让路*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 索引 管理 方法 装置 电子设备 | ||
本申请公开了一种索引管理方法、装置及电子设备,应用于分布式文件系统,所述分布式文件系统包括对象存储容器,该方法包括:从目标任务序列中,获取待处理的目标索引分片的目标分片信息,其中,所述目标索引分片隶属于为所述对象存储容器分配的索引分片集合,所述目标索引分片中的索引顺序排列,所述索引分片集合中的索引分片顺序排列,所述目标分片信息包括分片标识和分裂管控信息,所述分片标识用于标识所述目标索引分片;根据所述目标分片信息,对所述目标索引分片执行重新分片处理。该方法可以快速、可靠的对对象存储容器的索引进行管理,以提升系统写入性能。
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种索引管理方法、装置、电子设备及计算机可读存储介质。
背景技术
Ceph是一个分布式文件系统,其提供块(Block)存储、对象(Object)存储和文件存储等存储方案,是可靠的、可扩展的、统一的、分布式的存储系统。随着云平台的不断发展,Ceph基于其可靠、可扩展等优点得到了人们的广泛使用。
目前的Ceph系统中,对象存储容器(Bucket)往往是基于哈希的方式进行索引管理,其对索引(Bucket Index)进行重新分片(Reshard)的方式例如为:当一对象存储容器的所有索引分片管理的对象个数超过一定量后,为该对象存储容器生成1倍的索引分片,再通过哈希的方式将原始索引分片中的所有索引信息重新分配到新的索引分片中。
然而,发明人发现,现有技术在对索引进行重新分片时,在基于新生成的索引分片,将原始分片中的索引重新哈希分配到新的索引分片的过程中,该对象存储容器将被禁止用户写入,即,阻塞用户写入;在实际中,对象存储容器中的对象个数往往是超过百万级别的,因此,现有的索引管理方法在对索引进行重新分片时,可能存在过长阻塞,进而影响系统写入性能的问题。
以上,是以Ceph系统为例,说明现有分布式文件系统中索引管理可能存在的问题,由于在其他分布式文件系统中也可能存在以上问题,因此,有必要提供一种索引管理方法以解决上述问题。
发明内容
本公开实施例的一个目的是提供一种用于索引管理的新技术方案。
根据本公开的第一方面,提供了一种索引管理方法,应用于分布式文件系统,所述分布式文件系统包括对象存储容器,该方法包括:
从目标任务序列中,获取待处理的目标索引分片的目标分片信息,其中,所述目标索引分片隶属于为所述对象存储容器分配的索引分片集合,所述目标索引分片中的索引顺序排列,所述索引分片集合中的索引分片顺序排列,所述目标分片信息包括分片标识和分裂管控信息,所述分片标识用于标识所述目标索引分片;
根据所述目标分片信息,对所述目标索引分片执行重新分片处理。
根据本公开的第二方面,本公开还提供了一种索引管理装置,应用于分布式文件系统,所述分布式文件系统包括对象存储容器,包括:
目标分片信息获取模块,用于从目标任务序列中,获取待处理的目标索引分片的目标分片信息,其中,所述目标索引分片隶属于为所述对象存储容器分配的索引分片集合,所述目标索引分片中的索引顺序排列,所述索引分片集合中的索引分片顺序排列,所述目标分片信息包括分片标识和分裂管控信息,所述分片标识用于标识所述目标索引分片;
重新分片处理模块,用于根据所述目标分片信息,对所述目标索引分片执行重新分片处理。
根据本公开的第三方面,还提供了一种电子设备,包括根据本公开的第二方面所述的装置;或者,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的指令的控制,运行所述电子设备执行根据本公开的第一方面所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百果园技术(新加坡)有限公司,未经百果园技术(新加坡)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110264712.4/2.html,转载请声明来源钻瓜专利网。