[发明专利]基于海量存储的新型文件存储系统和方法

权利要求书

1.一种基于海量存储的新型文件存储系统，其特征在于：包含master组件和store节点，所述store节点存储在所述master组件中；

master组件负责管理集群的元数据，包括集群中存在的store节点以及每个store节点的状态信息，store节点负责存储具体的数据；

store节点周期性的向master组件汇报自身的状态信息，而master组件则实时的向其他store节点通知某个store节点的状态变更信息，确保所有的master组件和store节点都有统一的集群元数据信息；

每个store存储节划分为多个bucket，每个bucket直接对应为当前节点的一个目录，数据实际存储到对应的bucket中；

设定文件存储机制，该文件存储机制为，设置判定文件大小的阈值，设定参考值size1，大于等于size1的文件为大文件，小于size1的文件为小文件；

大文件和小文件均存储在其bucket中，

对于小文件，在每个bucket下设置有一个聚合文件，所有小文件都合并存储到聚合文件里面；

对于大文件，单独存放在bucket下独立的文件中。

2.一种用于权利要求1所述高性能海量文件存储系统的工作方法，其特征在于：

包括内存索引流程，该内存索引为：

S21：针对每个bucket下的小文件，在内存中为其建立一个索引，索引内容为文件名到文件系统元数据的映射；

S22：每次store重启时，根据聚合文件中的信息重建内存索引。

3.根据权利要求2所述一种基于海量存储的新型文件存储系统工作方法，其特征在于：包括文件上传流程，该文件上传流程为：

S31：用户请求上传文件时，找到文件的存储位置，假设为bucket1，并将请求发送给对应的store节点；

S32：将上传文件的大小与参考值size1进行比较，如果上传文件大于参考值size1，上传文件为大文件，进入步骤S3，否则，上传文件为小文件，进入步骤S4；

S33：直接在bucket1下存储为同名文件；

S34：采用合并存储的方式，对接收到的小文件内容按照自定义的格式进行封装；

封装信息包括其原始内容、长度、状态、文件名，这里将封装后的内容叫做needle，然后将needle整体追加到相应的聚合文件中，同时在内存中按照内存索引流程为其新增索引。

4.根据权利要求2所述一种基于海量存储的新型文件存储系统工作方法，其特征在于：包括删除文件流程，该删除文件流程为：

S41：找到需要删除文件的位置并将删除请求发给相应store节点；

S42：store节点首先在其所在的bucket的内存索引中寻找对应的文件，判断是否有需要删除文件的内存索引，如果有，则判断为小文件，进入步骤S3，否则，判断为大文件，进入步骤S4；

S43：对小文件进行删除，操作为将内存索引映射和聚合文件中相应的状态标志设置为已删除，该删除为软删除机制，此刻不会删除needle的磁盘数据；

S44：直接删除对应的大文件。

5.根据权利要求2所述一种基于海量存储的新型文件存储系统工作方法，其特征在于：

包括读文件工作流程，读文件的工作流程为：

S51：store节点接收到读请求，利用内存中索引快速的查找相关的元数据，判断文件是否找到，如果在内存索引中找到，且文件没有被删除，则进入步骤S2，否则，进入步骤S3；

S52：store节点则在聚合文件中查询到相应的偏移量，从磁盘上读取数据；

S53：考虑为大文件，尝试读取对应的大文件，判断是否找到大文件，如果是，则进入步骤S4，否则，进入步骤S5；

S54：并将内容返回给用户；

S55：如果本地大文件也没有找到，则说明用户请求了一个不存在的文件，返回错误信息。