[发明专利]一种适用于云存储系统的元数据分布式存储方法

说明书

技术领域

本发明涉及网络数据存储领域，具体涉及一种适用于云存储系统的元数据分布式存储方法。

背景技术

现有GFS（Google File System）文件系统主要由元数据服务器和数据块服务器组成，其中元数据服务器是集中化存储，由于元数据的重要性，所以不得不对元数据服务器进行再集群或镜像。随着云存储技术的进步，无中心的分布式网络也被应用于持久存储，但是元数据的分布式存储成为了难题，在元数据集中化存储过程中存在以下技术问题：1）需要专门的元数据服务器；2)元数据本地存储不易于扩展：在海量数据存储环境下，本地的元数据容量会随着数据量的增长而膨胀，这时候，元数据服务器的整体性能、内存与硬盘空间就会成为瓶颈。3)为了防止单点失效而对元数据服务器进行集群。

发明内容

为了解决解决了元数据集中化存储所带来的以上技术问题：本发明涉及一种适用于云存储系统的元数据分布式存储方法。

本发明解决上述技术问题的技术方案是：提供的一种适用于云存储系统的元数据分布式存储方法，包括以下步骤：

（c1）对每个访问的客户端分配唯一的编号i；

（c2）设定该客户要访问一个对象表object的第j条记录；

（c3）根据编号i和对象表object的第j条记录构造出一个地址字符串meta.i.object.j；

（c4）将构造出的地址字符串进行SHA-1运算，得到一个指向混合数据块的摘要KEY；

（c5）将得到的摘要KEY通过映射方法f(key)→N找到相应服务器，并写入存储网络；

（c6）将存储网络中所写入的混合数据块的操作结果进行返回。

本发明所述的一种适用于云存储系统的元数据分布式存储方法中，所述步骤（c5）中，当写入数据块时，仅当数据块不存在时，才写入存储网络。

本发明所述的一种适用于云存储系统的元数据分布式存储方法中，所述步骤（c5）中，当写入元数据时，总是以覆盖的方式写入存储网络。

本发明所述的一种适用于云存储系统的元数据分布式存储方法中，所述步骤（c5）中，当数据块存在时，把数据块对应的摘要KEY的引用计数器加1。

本发明具有以下优点：

1、通过元数据的分布式存储，使得元数据与数据块可以同时混合存储，并具备与数据块有相同的冗余度，解决了元数据集中化存储带来的瓶颈问题，降低了元数据损坏的风险性；当增加更多存储服务器时，元数据可以与数据存储同步扩展。

2、该发明解决了传统元数据存储需要专门元数据服务器的问题，直接把元数据的存储与块数据存储合并，提高了元数据的安全性和可扩展性，即元数据的冗余度与扩展性保持与数据块存储一致，避免了因元数据单点失效而导致整个存储网络不能使用的问题。

说明书附图

图1为本发明中基于分布式哈希算法(DHT)的存储系统的流程图；

图2为本发明中元数据读取过程的流程图；

图3为本发明中元数据写入过程的流程图。

具体实施方式

参见图1-图3所示，本发明提供的一种适用于云存储系统的元数据分布式存储方法，通过元数据的分布式存储，使得元数据与数据块可以同时混合存储，并具备与数据块有相同的冗余度，解决了元数据集中化存储带来的瓶颈问题，降低了元数据损坏的风险性；当增加更多存储服务器时，元数据可以与数据存储同步扩展，本方法包括以下步骤：

步骤1：通过SHA-1算法对数据块进行签名运算，并对运算后的数据块进行存储，具体参见图1所示；

步骤2：通过映射方法将数据块和元数据进行混合存储。

参见图2与图3所示，实现上述步骤3还包括以下步骤：

第一步：对每个访问的客户端分配唯一的编号i；

第二步：设定该客户要访问一个对象表object的第j条记录；

第三步：根据编号i和对象表object的第j条记录构造出一个地址字符串meta.i.object.j；

第四步：将构造出的地址字符串进行SHA-1运算，并得到一个指向混合数据块的摘要KEY；

第五步：将得到的摘要KEY通过f(key)→N找到相应服务器，写入操作：仅当数据块不存在时，才写入存储网络；当写入元数据时，总是以覆盖的方式写入存储网络；当数据块存在时，把数据块对应的摘要KEY的引用计数器加1；前进到第六步。读取操作：直接读取混合数据块，前进到第七步。

第六步：将写入的的操作结果进行返回；