[发明专利]一种分布式系统文件的删除方法、装置、设备及存储介质

说明书

本申请公开了一种分布式系统文件的删除方法、装置、设备及存储介质，该方法包括：查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；若有未完成的文件删除操作，则继续删除子树根在对应的MDS下的数据，并判断子树根是否是副本；若子树根是副本，则在MDS的内存中删除子树根副本。本申请通过上述步骤可以减少分布式文件系统中子树根的副本数目，从而减小不同MDS之间主副本加锁的交互次数，进而提高文件删除效率，提升产品用户友好度和差异化竞争力。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种分布式系统文件的删除方法、装置、设备及存储介质。

背景技术

目前的分布式存储文件系统中，当一个文件创建时，元数据服务(MetadataServer，简称MDS)会一次性给这个文件的元数据预分配8*4M(4M为基带值默认值)的大小，如果该文件在写入的过程需要的空间超过了该值，MDS会继续给这个文件的元数据预分配空间，如果未超过将不会再次分配空间给这个文件，但是也不会更改该文件元数据中标识的预分配空间大小值，文件元数据预分配的大小并不是文件真实占据的大小，只是在元数据中对文件可能的最大大小的一个标识。

当前分布式文件系统中一般存在多个MDS，业务模型中一般也会存在不止一个的子树(Subtree)。特别是如果业务大部分为小文件(小于4M)的读写、删除操作，那么在该类场景下，对文件进行删除的时候，会由于删除操作需要等待不同MDS间对子树根主副本进行加解锁；同时，虽然文件本身只写入了部分数据，但是删除时需要将文件分解为4M一个大小的待删除对象，这样这些小文件虽然本身只写入了4M左右的数据，但还是会分为8个待删除对象，由MDS下发给对象存储设备(Object Storage Device，OSD)完成删除操作。这些加锁及多余的删除下发操作都会造成文件删除效率的降低；若多个MDS上存在待删除业务的子树根数目差别较大，也会造成有些MDS负载过高从而导致整体删除效率的降低。

因此，如何在分布式存储文件系统下提高文件的删除效率，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种分布式系统文件的删除方法、装置、设备及存储介质，可以提高文件删除效率。其具体方案如下：

一种分布式系统文件的删除方法，包括：

查询某一MDS上对应的子树根下是否还有未完成的文件删除操作；

若有未完成的文件删除操作，则继续删除所述子树根在对应的MDS下的数据，并判断所述子树根是否是副本；

若所述子树根是副本，则在MDS的内存中删除所述子树根副本。

优选地，在本发明实施例提供的上述分布式系统文件的删除方法中，还包括：

若没有未完成的文件删除操作，在分布式系统中创建定时删除任务；

根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目。

优选地，在本发明实施例提供的上述分布式系统文件的删除方法中，根据创建的所述定时删除任务，均衡不同MDS间待删除子树根数目，具体包括：

获取并记录每个MDS上存在所述定时删除任务的待删除子树根数目；

计算所有MDS上待删除子树根数目的平均值；

从待删除子树根数目最多的对应的MDS开始，依次向低于所述平均值的MDS迁移待删除子树根，直至没有MDS对应的待删除子树根数目小于所述平均值。

优选地，在本发明实施例提供的上述分布式系统文件的删除方法中，还包括：

根据文件实际大小，对待删除文件进行分割及删除操作。