[发明专利]分布式存储系统中的元数据日志

说明书

多个计算设备经由网络彼此可通信地耦接，并且多个计算设备中的每一个可操作地耦接至多个存储设备中的一个或多个。每个计算设备可操作以压缩一个或多个数据块且在数据之前附加日志。日志和数据同时写入闪存。每个计算设备还可操作以将记录变化的元数据注册表保持在闪存中。在电源故障的情况下，日志和以前的日志可用于验证元数据注册表的状态。

优先权要求

本申请要求2017年11月13日提交的题为“分布式存储系统中的元数据日志”的美国临时专利申请62/585,063以及2018年9月4日提交的题为“分布式存储系统中的元数据日志”的美国专利申请号16/121,496的优先权。

背景技术

通过将这样的方法与参照附图在本公开的其余部分中阐述的本方法和系统的一些方面进行比较，数据存储的常规方法的局限性和缺点对于本领域技术人员将变得显而易见。

相关申请的交叉引用

题为“分布式擦除编码虚拟文件系统”的美国专利申请号15/243,519的全文通过将其整体引入而结合于本文中。

发明内容

提供了用于分布式存储系统中的元数据日志的方法和系统，该方法和系统基本上由至少一个附图示出和/或结合至少一个附图进行了描述，并在权利要求中更完整地阐述。

附图说明

图1示出根据本公开的方面的虚拟文件系统的各种示例配置。

图2示出根据本公开的方面的虚拟文件系统节点的示例配置。

图3示出根据本公开的示例实现方式的虚拟文件系统的另一种表示。

图4A和图4B示出根据本公开的示例实现方式的日志链表和注册表的示例。

图5示出根据本公开的示例实现方式的分布式存储系统中的日志链表的另一示例。

图6示出根据本公开的示例实现方式的利用压缩来减少分布式存储系统中的写入放大的元数据日志。

图7是说明根据本公开的示例实现方式的在分布式存储系统中使用元数据日志的方法的流程图。

图8示出其中两个分布式故障弹性地址空间驻留在多个固态存储盘上的示例实现方式。

图9示出了根据本公开的示例实现方式的前向纠错方案，其可以用于保护存储到虚拟文件系统的非易失性存储器的数据。

具体实施方式

本公开中的系统适用于小型集群，并且还可以扩展到许多成千上万个节点。讨论了关于非易失性存储器(NVM)(例如，以固态驱动器(SSD)形式出现的闪存)的示例实施例。NVM可以分为4kB“块”(block)和128MB“组块”(chunk)。“扩展区”(extent)也可以存储在易失性存储器中，例如用于快速访问的RAM，也可以由NVM存储备份。扩展区可以存储块的指针，例如，指向存储在块中的1MB数据的256个指针。在其他实施例中，也可以使用更大或更小的存储器划分。本公开中的元数据功能可以有效地分布在许多服务器上。例如，在大的负荷指向文件系统名称空间的特定部分的“热点”的情况下，则此负荷可以分布在多个节点上。

图1示出根据本公开的方面的虚拟文件系统(VFS)的各种示例配置。图1中所示的是局域网(LAN)102，其包括一个或多个VFS节点120(由1至J的整数索引，j≥1)，并且可选地包括(虚线所示)：一个或多个专用存储节点106(由1至M的整数索引，M≥1)；一个或多个计算节点104(由1至N的整数索引，N≥1)；和/或将LAN 102连接到远程网络118的边缘路由器。远程网络118可选地包括一个或多个存储服务114(由1至K的整数索引，K≥1)；和/或一个或多个专用存储节点115(由1至L的整数索引，对于L≥1)。