[发明专利]基于海量存储的新型文件存储系统和方法

说明书

一种基于海量存储的新型文件存储系统和方法，包含master组件和store节点，所述store节点存储在所述master组件中；master组件负责管理集群的元数据，包括集群中存在的store节点以及每个store节点的状态信息，store节点负责存储具体的数据；store节点周期性的向master组件汇报自身的状态信息，而master组件则实时的向其他store节点通知某个store节点的状态变更信息，确保所有的master组件和store节点都有统一的集群元数据信息，解决了海量小文件访问效率低下的问题，同时提供了一种良好的用户交互方式，对于海量小文件和大文件共存的场景，也提出了一种高效的存储机制。

技术领域

本发明涉及存储领域，具体涉及一种基于海量存储的新型文件存储系统和方法。

背景技术

现有的大部分存储系统都是将用户文件直接存储在后端文件系统中，这样对于海量小文件会产生大量的inode等元数据，后续的读操作访问元数据需要额外消耗大量的磁盘io，导致性能低下；典型的如ceph、hdfs等。

针对上述问题，也有一些知名的存储系统提出了一些解决方案，比如Haystack，采用了小文件合并的方式来解决海量小文件带来的海量元数据问题。但是这类系统也存在一些问题。第一，小文件合并存储后，如何确定其位置信息，用户后续访问时应该从哪里读取？为了解决这个问题，这类系统都会在小文件存储后返回一个特定的文件名，文件名中包含了位置信息，但是这样又需要使用者额外的记住这些信息，造成使用不便；第二，这类系统假设所有的文件都是小文件，全部采用合并存储的方式，但是实际使用过程中，也有可能存在少量大文件的情形。由于合并存储导致删除和更新不方便，容易导致存储空间浪费。如果将大文件也采用合并存储的方式，显然加剧了这个问题；

发明内容

本发明针对现有技术的不足，提出种海量存储的新型文件存储系统和方法，其中，一种基于海量存储的新型文件存储系统，具体技术方案如下：

一种基于海量存储的新型文件存储系统，其特征在于：包含master组件和store节点，所述store节点存储在所述master组件中；

master组件负责管理集群的元数据，包括集群中存在的store节点以及每个store节点的状态信息，store节点负责存储具体的数据；

store节点周期性的向master组件汇报自身的状态信息，而master组件则实时的向其他store节点通知某个store节点的状态变更信息，确保所有的master组件和store节点都有统一的集群元数据信息；

每个store存储节点按照存储空间划分策略划分为多个bucket，具体为，由用户为集群设定一个bucket大小参数，一个store节点上的bucket数量＝节点总容量/bucket大小。比如用户设定的bucket大小为100G，如果节点空间为10T，则该节点的bucket数量＝10T/100G＝100；

其他划分策略包括：用户可以直接设置某个store节点的bucket数量。如果用户设置了当前store节点的bucket数量，则当前store节点最终的bucket数量即为该参数设定的值；如果用户未对当前store节点设置bucket数量，则该store节点最终的bucket数量根据前述的按照存储空间划分的策略计算而来；

每个bucket可以直接对应为当前节点的一个目录，但也可以包含其他映射方式，数据实际存储到对应的bucket中；所述划分策略包含但不仅限于存储空间；假设按存储空间来划分，每1T存储空间对应一个bucket，那么一个具有10T存储空间的store节点将会被划分为10个bucket；

设定文件存储机制、划分文件内存索引，该文件存储机制为，设置判定文件大小的阈值，设定参考值size1，大于等于size1的文件为大文件，小于size1的文件为小文件；