[发明专利]元数据的批量更新方法、系统、电子设备及可读存储介质

说明书

本申请公开了一种元数据的批量更新方法、系统、电子设备及可读存储介质，涉及分布式文件系统领域，该方法包括：响应于收到业务更新指令，触发业务更新指令对应的线程，对线程增加PG锁后执行线程对应的第一操作；根据第一操作建立内部对象与业务对象的映射；当收到元数据更新回调指令，触发回调线程，对回调线程增加PG锁后，遍历内部对象映射的业务对象以确定待更新元数据；根据所有业务对象及其对应的待更新元数据，构造一个事务；将事务转发至目标节点，以使目标节点根据事务对待更新元数据进行下盘操作。本申请所公开的批量更新方法，对线程增加PG锁，取消了对象锁，降低了批量更新过程中事务量，从而具有更高效的元数据批量更新效果。

技术领域

本发明涉及分布式文件系统领域，特别涉及一种元数据的批量更新方法、系统、电子设备及可读存储介质。

背景技术

数字化转型背景下，海量数据不断增长，分布式文件系统已经得到普遍应用，分布式文件系统通常包括主控服务器、存储服务器以及多个客户端，其本质是将大量的文件，均匀分布到多个存储服务器上，具有高扩展性、高可靠性的特点。

为了提高文件系统性能，对分布式文件系统的操作通常采用聚合追加写的方式，集群被分为缓存池和数据池，客户IO（Input/Output，输入/输出）首先写入到三副本的缓存池，缓存池将写入的IO数据缓存在主OSD（Object-based Storage Device，对象存储设备）的内存中，当前缓存的数据达到内部对象大小或者满条带时，申请一个数据池内部对象，将主OSD缓存的数据写入到数据池，保证数据池的对象一直是追加写。

客户端写入时的对象称为业务对象，数据池中存储的聚合后的对象称为内部对象，客户端不感知内部对象，所以需要保存一份业务对象到内部对象的映射，这部分映射的数据存储在业务对象的元数据信息中，元数据的更新是在下刷内部对象成功后的回调函数中进行。

然而，一个内部对象可能对应着成百上千个业务对象，在当前的元数据更新的机制下，下刷数据完成触发回调进行元数据更新的时候，需要为每个业务对象构造一个事务进行元数据更新，这样不仅需要事务对应的大量的消息转发，而且每个对象元数据的更新在bluestore的RocksDB都需要同步提交而产生一次磁盘IO，导致元数据更新效率低。

因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种具有较高更新效率的元数据的批量更新方法、系统、电子设备及可读存储介质。其具体方案如下：

一种元数据的批量更新方法，应用于分布式文件系统，包括：

响应于收到业务更新指令，触发所述业务更新指令对应的线程，对所述线程增加PG锁后执行所述线程对应的第一操作；

根据所述第一操作建立内部对象与业务对象的映射；

当收到元数据更新回调指令，触发回调线程，对所述回调线程增加PG锁后，遍历所述内部对象映射的所述业务对象以确定待更新元数据；

根据所有所述业务对象及其对应的所述待更新元数据，构造一个事务；

将所述事务转发至所述待更新元数据对应的目标节点，以使所述目标节点根据所述事务对所述待更新元数据进行下盘操作。

可选的，遍历所述内部对象映射的所述业务对象以确定待更新元数据之后，还包括：

将所有所述待更新元数据写入本地内存；

当收到关于所述待更新元数据的操作指令，对所述本地内存中的所述待更新元数据和/或所述目标节点的所述待更新元数据进行相应的第二操作，其中所述本地内存中的所述待更新元数据的操作优先级高于所述目标节点的所述待更新元数据；

当收到所述目标节点反馈的下盘成功信息，删除所述本地内存中的所述待更新元数据。

可选的，所述操作指令为第二操作与当前正在进行的所述线程的第一操作互斥的操作指令。