[发明专利]一种基于多客户端协同的分布式文件系统、方法和客户端

说明书

本发明涉及文件处理技术领域，特别涉及一种基于多客户端协同的分布式文件系统、方法和客户端。所述一种基于多客户端协同的分布式文件系统，包括：服务器端、客户端和内存数据库；所述服务器端包括：元数据服务器集群和数据服务器集群，所述元数据服务器集群和数据服务器集群分别单独提供独立的卷给客户端挂载使用，从而实现文件与文件的目录信息的完全分离，进而加快元数据查询访问。所述客户端的文件为分块写入，实现了基于数据块的去重上传功能，节省带宽。所述内存数据库用于：记录文件的数据块分块信息和分布信息。所述多客户端协同，解决多客户端实时数据无法完整访问问题。

技术领域

本发明涉及文件处理技术领域，特别涉及一种基于多客户端协同的分布式文件系统、方法和客户端。

背景技术

在大数据时代，数据量呈指数爆炸式增长，对存储系统提出了很大的挑战。目前常见的元数据的组织管理方式主要有三种：(1)集中式元数据管理；(2)分布式元数据管理；(3)无元数据管理。为实现数据访问的高吞吐率，许多系统采用专用的元数据服务器，当用户访问系统时，先从元数据服务器中获得访问许可、文件元数据信息，如数据位置和文件属性，然后直接访问文件内容。此外，一些系统为了摒弃单一元数据带来的隐患，采用无元数据的架构。由于存储需求的快速增长，随着文件数增长到一定规模后，系统面临一系列问题，主要包括：1)元数据目录遍历性能瓶颈，比如ls某个目录时需要等待的时间特别长。2)写文件慢。主要是因为客户端写完文件后都是通过网络直接上传到服务器，已有的解决方案实现了基于文件级的去重，可以减小上传所需的带宽，但缺少数据块级的去重。3)缺少多客户端之间的数据实时访问。当某个文件正在写入时，其他客户端要访问该文件需要等待文件同步到服务器端才可以访问。

发明内容

为此，需要提供一种基于多客户端协同的分布式文件系统，用以解决现有分布式文件系统的元数据访问慢、文件实时写入慢、多客户端实时数据无法完整访问等问题。具体技术方案如下：

一种基于多客户端协同的分布式文件系统，包括：服务器端、客户端和内存数据库；

所述服务器端包括：元数据服务器集群和数据服务器集群，所述元数据服务器集群和数据服务器集群分别单独提供独立的卷给客户端挂载使用；

所述客户端包括：用户接口模块、缓存模块和通信模块，所述客户端的文件为分块写入；

所述内存数据库用于：记录上传数据服务器的文件的数据块分块信息和分布信息。

进一步的，所述元数据服务器为SSD磁盘；

所述数据服务器为SATA磁盘；

所述内存数据库采用key-value技术。

进一步的，所述元数据服务器集群基于gluster分布式文件系统建立一个metadata卷；

所述数据服务器集群基于gluster分布式文件系统建立一个realdata卷；

所述客户端的缓存模块采用LRU算法。

为解决上述技术问题，还提供了一种基于多客户端协同的分布式文件方法，具体技术方案如下：

一种基于多客户端协同的分布式文件方法，包括步骤：

客户端响应数据写入指令，按预设规则对数据进行分块；

将分块后的数据写入至缓存层；

当客户端本地缓存使用空间超过定义的阀值，客户端后台将自动启动文件数据上传数据服务器进程，当客户端响应分块后的数据上传至数据服务器的指令时，判断内存数据库中是否存在该数据块的指纹记录，若不存在该数据块的指纹记录，则将该条数据块信息插入至内存数据库中，并上传该条数据块至数据服务器；