[发明专利]用于数据去重复的可缩放块存储

权利要求书

1.一种方法(700)，包括：

将数据流解析(702)成数据块序列；

确定(704)所述数据块序列中的任何一个数据块是否被存储在包括多个数据块的块容器中；以及

将所述数据块序列中被确定为没有存储在所述块容器内的各数据块以相邻的排列并在所述块容器中以与所述数据流中的顺序相同的顺序存储(706)在所述块容器中。

2.根据权利要求1所述的方法，其特征在于，还包括：

生成所述数据块序列中的每一个数据块的元数据，所述数据块序列中的数据块的元数据包括该数据块在所述数据流中的偏移、指向该数据块在所述块容器中的位置的指针、以及该数据块的位置指示符。

3.根据权利要求2所述的方法，其特征在于，还包括：

生成所述数据流的流映射，所述流映射包括所生成的元数据；以及

将所述流映射持久存储在块存储中，所述块存储包括所述块容器。

4.根据权利要求1所述的方法，其特征在于，还包括：

将第二数据流解析成第二数据块序列；

确定所述第二数据块序列的第一组数据块包括一个或多个数据块，该一个或多个数据块是已经存储在所述块容器中的各数据块的重复，并确定所述第二数据块序列的第二组数据没有被存储在所述块容器中；

将所述第二组数据块以接着所述第一数据块序列中的已存储数据块的相邻的排列并以与所述第二数据流中的顺序相同的顺序存储在所述块容器中；以及

存储所述第一组数据块中的每一个数据块的、指向已经存储在所述块容器中的相应数据块的指针。

5.如权利要求4所述的方法，其特政在于，所述第二数据流中的每一个数据块具有相关联的元数据，该相关联的元数据包括该数据块在所述第二数据流中的偏移、指向该数据块在所述块容器中的位置的指针、以及该数据块的位置指示符，其中所述第一数据块序列中的每一个数据块具有所述位置指示符的第一值，所述方法还包括：

将所述第一值分配给所述第一组数据块中的每一个数据块的位置指示符；

选择与所述第二数据流相关联的新位置指示符值；以及

将所述新位置指示符值分配给所述第二组数据块中的每一个数据块的位置指示符。

6.根据权利要求1所述的方法，其特征在于，还包括：

响应于对数据流的请求：

执行第一查找，以在所述块容器中定位所请求的数据流的第一组数据块中的第一个数据块，

从所述块容器顺序地读取所述第一组数据块，

执行第二查找，以在所述块容器中定位所请求的数据流中的第二组数据块中的第一个数据块，

从所述块容器顺序地读取所述第二组数据块，

7.根据权利要求1所述的方法，其特征在于，还包括：

生成与所述块容器相关联的重定向表，所述重定向表存储关于数据块位置改变的信息。

8.根据权利要求7所述的方法，其特征在于，还包括：

接收对数据块的请求，所述请求包括该数据块的标识符，所述数据块标识符包括块容器标识符、局部标识符、块容器阶段值和第一块偏移值；

确定所述块容器的与在所述请求中接收到的块容器标识符相匹配的阶段指示并不与在所述请求中接收到的块容器阶段值相匹配；

搜索所述重定向表，以得到包括所述局部标识符的匹配的条目，该条目包括与所述第一块偏移值不同的第二块偏移值；以及

从所述块容器检索在所述第二块偏移值处的数据块。

9.如权利要求8所述的方法，其特征在于，所述块容器的所述阶段指示以及所述块容器标识符被包括在所述块容器的头部中，所述方法还包括：

修改所述块容器的内容；

将一个或多个条目添加到所述重定向表中，所述一个或多个条目指示所述块容器中的一个或多个数据块由于所述修改而改变的块偏移值；以及

由于所述修改，增加所述块容器头部中的所述阶段指示。

10.如权利要求7所述的方法，其特征在于，所述关于数据块位置改变的信息将不可变的每个容器的块标识符映射至新偏移值。

11.根据权利要求8所述的方法，其特征在于，还包括：

在与所述数据流相关联的流映射中将所述第一块偏移值替换成所述第二块偏移值；以及

从所述重定向表中删除所述条目。