[发明专利]用于在存储器管理中去重的参考块至参考集的聚合

说明书

相关申请交叉引用

本申请关联于美国专利申请第_号，提交于__，题为“pipelined reference set construction and use in memory management(管线参考集构造和在存储器管理中的使用)”；美国专利申请第_号，提交于__，题为“integration of reference sets with segment flash management(参考集与段闪存管理的集成)”；以及美国专利申请第_号，提交于__，题为“garbage collection for reference sets in flash storage systems(用于闪速存储系统中的参考集的垃圾收集)”，其每一个通过引用整体并入本文。

技术领域

本公开涉及管理存储设备中数据块集。特别地，本公开描述了用于存储应用和数据去重的基于相似性的内容匹配。更特别地，本公开涉及将参考数据块聚合为参考数据集，用于闪存管理的去重。

背景技术

基于相似性的内容匹配可应用于文档，用于标识文档集之间的相似性，与精确匹配相反。内容匹配的概念先前使用于搜索引擎实现和建立基于动态随机存取存储器(DRAM)的高速缓存，诸如基于散列查找的去重，其仅标识精确匹配，与标识近似匹配的基于相似性的去重相反。然而，在存储设备中利用基于相似性的去重需要解决与参考数据集管理和构造相关的问题。

已有方法通过比较输入数据集的每个对应数据块与存储器中存储的数据块执行数据块聚合。此外，已有方法执行输入数据集的每个数据块的精确内容匹配。精确内容匹配包括比较关联于输入数据集的每个数据块的内容与存储于存储器的数据块的内容。具有精确匹配的数据块被编码，而不具有精确匹配的数据块不被编码并且被独立地存储在存储器中。这些已有方法包括多个缺陷，诸如性能方面、需要过多的处理时间、需要使用大量的不必要的存储器、一个或多个可包括相同内容的最小变型的数据块之间的冗余数据等。因此，本公开通过有效地将参考块聚合为参考数据集来解决关联于存储设备中数据聚合的问题。

发明内容

本公开涉及用于硬件有效数据管理的系统和方法。根据本公开的主题的一个创新方面，系统具有一个或多个处理器和存储器，所述存储器存储指令，当执行时使系统：从数据存储中检索参考数据块；基于标准将参考数据块聚合为第一集；基于包括该参考数据块的第一集的一部分来生成参考数据集；并且在该数据存储中存储该参考数据集。

总体上，本公开描述的主题的另一创新方面可实现于一种方法，其包括：从数据存储中检索参考数据块；基于标准将该参考数据块聚合为第一集；基于包括该参考数据块的第一集的一部分来生成参考数据集；并且在该数据存储中存储该参考数据集。

一个或多个方面的其他实现包括对应系统、装置和计算机程序，配置以执行编码于计算机存储设备的该方法的动作。

这些和其他实现的每一个可选地包括如下特征的一个或多个。

例如，该操作进一步包括：接收包括新数据块集的数据流；对新数据块集执行分析；基于该分析通过关联新数据块集与该参考数据集来编码新数据块集；更新记录表，其将新数据块集的每个编码数据块关联于该参考数据集的对应参考数据块；确定不同于该参考数据集的新集的数据块；将不同于该参考数据集的新集的数据块聚合为第二集；基于包括不同于该参考数据集的新数据块集的数据块的第二集而生成第二参考数据集；分配使用计数变量至第二参考数据集；以及在该数据存储中存储第二参考数据集。

例如，该特征可包括：包括标识新数据块集和该参考数据集之间是否存在相似性的分析；包括关联于包括于该参考数据集的多个参考数据块的预定义阈值的标准；以及包括关联于要存储于该数据存储的多个参考数据集的阈值的标准。

这些实现在多方面特别地有利。例如，本文描述的技术可用于将参考数据块聚合为参考数据集，用于存储器管理中的去重。

应当理解，本公开使用的语言在原理上被选择用于可读和指导性目的，而非限制本文公开主题的范围。

附图说明

本公开以示例的形式说明，并且在附图中以限制的形式，其中相同参考数字用于指代相似元素。

图1是说明根据本文描述的技术用于管理存储设备中的参考数据集的参考数据块的示例系统的高级框图。

图2是说明根据本文描述的技术的示例存储控制器单元的框图。