[发明专利]使用基于内容的块对齐实现基于块的存储系统中的数据简化

说明书

技术涉及基于块的数据存储系统中的数据简化。此类技术涉及基于块数据内容的确定性函数选择块中的起始位置。然后，对于从所选起始位置开始的未对齐的块，生成块摘要(例如，块散列)，并将其与存储的数据块的存储的块摘要进行比较。如果存在匹配，并且存储的块匹配未对齐的块，则存储对存储的块的引用代替未对齐的块，否则存储未对齐的块和对应摘要。对已经存储的块的引用进行存储(不受观察对齐的块边界的约束)实现了增加的物理存储空间的节省。

背景技术

本发明涉及基于块的数据存储的领域，更具体地说，涉及提供诸如压缩或去重复的数据简化服务的基于块的数据存储系统。

发明内容

描述了用于以精细(例如，字节)粒度提供数据盘区的内容感知处理，以检测数据一致性并在常见场景中提供数据简化的技术，诸如当盘区仅在文件内容的小偏移移位方面有差异时。技术可以使块存储设备能够检测盘区之间的粒度移位(例如，少量字节)，并且一旦检测到，就应用方法来减少冗余信息并降低物理存储利用率。

更具体地，公开了在基于块的数据存储系统中的数据简化的方法。方法包括基于块数据内容的确定性函数选择块中的起始位置，诸如块的连续小段的散列，直到匹配预定义的散列值。然后，对于从所选起始位置开始的未对齐的块，生成固定大小的块摘要(例如，块散列)，并将其与存储的数据块的存储的块摘要进行比较。如果比较导致了匹配，并且将存储的块确定为实际上匹配未对齐的块，则存储对存储的块的引用代替未对齐的块，否则存储未对齐的块和对应摘要。对已经存储的块的引用进行存储(不受观察对齐的块边界的约束)实现了增加的物理存储空间的节省。

附图说明

如附图中所示，从本发明的特定实施例的以下描述得出，前述和其他目的、特征和优点将变得显而易见，在附图中，相同的附图标记在不同的视图中指代相同的部分。

图1是采用数据存储系统的分布式数据处理系统的框图，该数据存储系统具有本文公开的基于内容的块对齐；

图2是数据存储系统的框图；

图3是可能无法通过已知技术很好处理的两个类似数据流之间的关系的示意图；

图4是两个类似数据流之间的关系的示意图，其中使用当前公开的技术可以实现更理想的处理；

图5是示出结合存储的数据块使用散列的框图；

图6是所公开的技术的操作的流程图；

图7是两个流的逻辑空间和流的数据块的底层物理存储之间的关系的示意图。

具体实施方式

概述

现代基于块的数据存储系统(本文也称为“存储设备”)可以支持各种方法来相应地降低物理存储空间需求和成本($/GB)。已知方法包括压缩和数据块级的重复数据删除，这些方法通常适用于存储全页边界(例如，自然对齐的4KB或8KB页面)。一些较新的方法可以使用诸如512B块或扇区粒度的子页面粒度。

存储在块存储设备上的文件系统的文件通常具有更精细的粒度(例如字节粒度)，并且应用可以产生在文件数据内只有很少或者甚至单个字节偏移的类似文件。例如，文字处理应用可以生成文档的两个版本，这两个版本在单个附加字符或添加/删除的文字上有所不同，使得这两个文档文件除了内容的小的(字节粒度)移位之外，在差异点之前完全相同且在该点之后也相同。对于其他诸如电子表格等的应用，也可以获得类似的结果。

如上所述的已知方法通常仅基于内容中的移位，将差异点之后的所有块视为不同的，并且不能基于对此类块进行重复数据删除来相应地实现存储节省。这在一定程度上是由于页面或块/扇区粒度操作的约束所致。