[发明专利]一种元数据多并发控制方法、系统及相关组件

说明书

本申请公开了一种元数据多并发控制方法、系统及相关组件，涉及分布式系统领域，该方法包括：根据分布式文件结构及元数据操作请求之间的互斥关系，确定多个锁结构；当收到目标操作请求，根据所述目标操作请求添加对应的所述锁结构；按照串行方式执行同一个所述锁结构当前对应收到的所有所述目标操作请求；当任一所述锁结构对应收到的所有所述目标操作请求均完成，对所述锁结构进行解锁。本申请公开了一种元数据多并发控制方法，设置了多个锁结构来实现系统中操作请求的并发处理，每个锁结构的作用粒度更细，各操作之间对锁结构的竞争减少，从而提高了分布式文件系统的元数据处理的并发性能。

技术领域

本发明涉及分布式系统领域，特别涉及一种元数据多并发控制方法、系统及相关组件。

背景技术

随着人工智能、互联网技术的发展，在交通卡口、医疗、银行、地质检测等领域，数据存储量越来越大，同时对文件系统的性能要求也越来越高。海量文件的存储在读写文件时，对于文件系统的元数据处理能力要求越来越高，加之互联网技术的推动，如何确保读写一致性已经成为分布式文件系统的关键技术。

目前，读写一致性的确保措施主要为使用客户端大锁进行资源管控，即在文件系统客户端使用一把锁对全局资源进行管控，无论是元数据处理还是数据处理，亦或是多文件并发处理，都由一把锁管控，这样确实能够保证读写一致性，但会导致所有客户端的操作都在竞争此锁，使得上层的多线程并发严重缩减，操作线程出现较大的锁等待耗时，严重阻塞客户端操作的并发性，使整个系统的性能严重下降。

因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种高并发的元数据多并发控制方法、系统及相关组件。其具体方案如下：

一种元数据多并发控制方法，包括：

根据分布式文件结构及元数据操作请求之间的互斥关系，确定多个锁结构；

当收到目标操作请求，根据所述目标操作请求添加对应的所述锁结构；

按照串行方式执行同一个所述锁结构当前对应收到的所有所述目标操作请求；

当任一所述锁结构对应收到的所有所述目标操作请求均完成，对所述锁结构进行解锁。

优选的，所述根据分布式文件结构及元数据操作请求之间的互斥关系，确定多个锁结构的过程，包括：

根据分布式文件结构中元数据文件之间的互斥关系，确定与所述元数据文件一一对应的多个文件锁结构；

根据元数据操作请求之间的互斥关系，确定与所述元数据操作请求一一对应的多个请求锁结构。

优选的，所述文件锁结构的优先级高于所述请求锁结构。

优选的，所述根据分布式文件结构及元数据操作请求之间的互斥关系，确定多个锁结构之前，还包括：

创建对应客户端资源的客户端锁结构。

优选的，所述请求锁结构的优先级高于所述客户端锁结构。

优选的，所述按照串行方式执行同一个所述锁结构当前对应收到的所有所述目标操作请求的过程，包括：

对所有所述目标操作请求引用的指针进行指针计数；

按照串行方式执行同一个所述锁结构当前对应收到的所有所述目标操作请求；

当所述指针计数为零，对所述指针进行删除操作。

优选的，所述当所述指针计数为零，对所述指针进行删除操作的过程，包括：

当所述指针计数为零，等待延时时间段后对所述指针进行删除操作。