[发明专利]分布式文件系统目录更新方法、装置、设备和介质有效
申请号: | 202010028134.X | 申请日: | 2020-01-10 |
公开(公告)号: | CN111258957B | 公开(公告)日: | 2023-06-02 |
发明(设计)人: | 吴义东;翁晓熠;陈志鹏;赵文 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/182 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 目录 更新 方法 装置 设备 介质 | ||
本申请实施例公开了一种分布式文件系统目录更新方法、装置、设备和介质,涉及分布式存储技术,其中,该方法包括:根据创建请求,确定待新建文件或者待新建子目录所属的目标父目录;利用预先设置的加锁程序,将目标父目录标记为支持多个与执行顺序无关的属性更新操作;生成目标父目录的多个属性更新操作,以及生成待新建文件或者待新建子目录的多个新建操作,其中,一个新建操作对应一个属性更新操作;按照属性更新操作与新建操作的对应关系,执行多个属性更新操作和多个新建操作。本申请实施例可以提升分布式文件系统中同目录下并发创建文件或子目录的效率,提升整个文件系统的子目录或文件创建请求的吞吐量,提升目录更新效率。
技术领域
本申请实施例涉及计算机技术,具体涉及分布式存储技术,尤其涉及一种分布式文件系统目录更新方法、装置、设备和介质。
背景技术
新一代分布式文件系统为支持超大规模统一目录树,一般选用分布式键值对(Key-Value,KV)系统或者分布式数据库(Data Base,DB)来存储目录树元数据。然而,现有方案中为避免目录树更新过程中的写写冲突,即同时存在针对同一目录的多个更新操作,通常,当父目录下成功创建一个子目录或者文件后,才会进入下一个子目录或者文件的创建过程,这种处理模式使得分布式文件系统的目录更新过程非常缓慢。
发明内容
本申请实施例公开一种分布式文件系统目录更新方法、装置、设备和介质,以提升分布式文件系统中同目录下并发创建文件或子目录的效率,提升整个文件系统的子目录或文件创建请求的吞吐量,提升目录更新效率。
第一方面,本申请实施例公开了一种分布式文件系统目录更新方法,包括:
根据创建请求,确定待新建文件或者待新建子目录所属的目标父目录;
利用预先设置的加锁程序,将所述目标父目录标记为支持多个与执行顺序无关的属性更新操作;
生成所述目标父目录的多个属性更新操作,以及生成所述待新建文件或者所述待新建子目录的多个新建操作,其中,一个新建操作对应一个属性更新操作;
按照所述属性更新操作与所述新建操作的对应关系,执行所述多个属性更新操作和所述多个新建操作。
上述申请中的一个实施例具有如下优点或有益效果:通过对目标父目录添加弱更新锁以及利用目录更新的两阶段处理过程,解决了现有分布式文件系统中同目录下创建文件或子目录的效率较低或者并发创建度较低的问题,提升了分布式文件系统中同目录下并发创建文件或子目录的效率。
可选的,所述利用预先设置的加锁程序,将所述目标父目录标记为支持多个与执行顺序无关的属性更新操作,包括:
在生成所述目标父目录的每个属性更新操作之前,利用所述预先设置的加锁程序,将所述目标父目录标记为支持多个与执行顺序无关的属性更新操作;
相应的,在执行每个属性更新操作之后,所述方法还包括:将所述目标父目录的加锁标记状态进行释放。
可选的,按照所述属性更新操作与所述新建操作的对应关系,执行所述多个属性更新操作和所述多个新建操作,包括:
将每个属性更新操作、以及与之对应的新建操作,作为同一个事务进行提交;
基于各个事务的提交时间,执行每个事务中的操作。
上述申请中的一个实施例具有如下优点或有益效果:利用事务机制,确保了每个属性更新操作和与之对应的新建操作之间的原子性,保证了异常情况下数据的一致性。
可选的,在生成所述待新建文件或者所述待新建子目录的多个新建操作之前,所述方法还包括:
按照所述新建操作的生成次数,依次对所述待新建文件或者所述待新建子目录添加更新锁;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010028134.X/2.html,转载请声明来源钻瓜专利网。
- 上一篇:预测车辆位置的方法及装置
- 下一篇:一种拍摄素材的管理方法、装置、电子设备