[发明专利]用于数据去重复的可缩放块存储

说明书

技术领域

本发明涉及存储数据的方法，尤其涉及用户数据去重复的可缩放存储方法和系统。

背景技术

数据去重复，也称为数据优化，是减少需要存储在盘上或需要通过网络上进行传送的数据的物理字节量的动作，而不会损害原始数据的保真性和完整性。数据去重复减少了存储数据所需的存储容量，并且可因此导致存储硬件成本和数据管理成本方面的节省。数据去重复提供了处理快速增长的数字存储数据的解决方案。

数据去重复可根据用于消除各持久存储文件之内或之间的重复的一项或多项技术来执行。例如，根据一项技术，在一个或多个文件中出现多次的唯一数据区域可被标识，并且这些所标识的唯一数据区域的单一副本可被物理地存储。可存储对这些所标识的唯一数据区域(也称为数据“块”)的引用，引用指示了包含这些唯一数据区域的各文件以及在这些文件中的位置。该技术一般称为单一实例化。除了单一实例化以外，还可执行对数据的压缩。其他数据减少技术也可被实现为数据去重复解决方案的一部分。

管理根据数据去重复技术来存储的数据存在各种困难。例如，由于由数据去重复所施加的数据碎片，在访问根据去重复来存储的文件时存在等待时间。该等待时间限制了对数据去重复解决方案的采用，尤其是在主存储数据上的采用，因为在主存储数据中用户期望对文件的无缝的、快速的访问。而且，数据去重复算法可在专用装置上运行，或者在存储和服务数据的设备(例如，文件服务器)上运行。在文件服务器的示例中，数据去重复可能不是该设备的主要功能，并且因此可能需要数据去重复技术是高效的，以免过度消耗设备资源(例如，存储器、输入/输出(I/O)机制、中央处理单元(CPU)能力等)。而且，由于数字数据量的以非常高的速度增长，存储设备(例如，存储盘)的大小以及与计算设备相关联的总存储容量也必须增大，从而导致不能对增加的存储量进行很好地缩放的数据去重复技术的困难。

发明内容

提供本发明内容是为了以精简的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

提供了用于本地化存储中的数据块、用于定位所存储的数据块、用于存储数据流、以及用于重组织已存储的数据流的方法、系统和计算程序产品。

例如，提供了用于本地化存储中的数据块的各种实现。数据流被解析成数据块序列。确定数据块序列中的任何一个数据块是否被存储在包括多个数据块的块容器中。以相邻的排列并以块容器中与数据流中的顺序相同顺序来存储数据块序列中被确定为没有存储在块容器内的数据块。为数据块序列中的每一数据块生成元数据。数据块序列中的数据块的元数据包括该数据块在数据流中的偏移、指向该数据块在块容器内的位置的指针、以及该数据块的位置指示符。为包括所生成的元数据的数据流生成流映射。将该流映射存储在流容器中。

而且，提供了用于可靠地定位存储中的数据块的实现。对数据块的请求被接收。该请求包括数据块的标识符。数据块标识符包括块容器标识符、局部标识符、块容器阶段值、和第一块偏移值。块容器标识符用于定位块容器。如果块容器的阶段指示匹配于块容器阶段值，则可使用第一块偏移值在块容器中定位数据块。如果块容器的阶段指示不匹配于块容器阶段值，则使用与块容器相关联的重定向表来定位数据块。可搜索重定向表以得到包括本地标识符的匹配的条目。该条目包括与第一块偏移值不同的第二块偏移值。从块容器检索在第二块偏移值处的数据块。

在其他方面，提供用于存储数据流和对数据流进行碎片整理的实现。存储对重复数据块的最小可允许数的指示。累积来自数据流的数据块的序列。如果所累积的数据块序列是重复序列(例如，如果该数据块序列匹配所存储的数据块序列)，但其具有小于最小可允许数的长度，则将该数据块序列作为新数据块相邻地存储在块容器中。此外，指向新数据块的指针被存储在数据流的流映射中。如果所累积的数据块序列被确定为是重复序列且具有大于或等于最小可允许数的长度，则将指向之前存储的数据块序列的指针存储在数据流的流映射中(而不是将该所累积的序列作为新数据块来存储)。