[发明专利]用于超量配置存储器系统的高效压缩的算法方法

说明书

一种动态地选择存储器系统中的去重粒度以减少去重粒度并提高哈希表效率的方法，该方法包括：在使用存储器系统的应用的应用层处选择一个或多个去重粒度，该一个或多个去重粒度是根据存储器系统的特征来选择的；以及分配与所选择的一个或多个去重粒度中的每一个相对应的存储区域，其中该方法可以使用存储器管理器来共享存储器转换表和哈希表，并且系统可以使用该方法，使得对于频繁使用的行能够使用更高容量的预分配计数器字段。

相关申请的交叉引用

本申请要求于2017年1月25日递交的美国临时申请62/450，502 的优先权和权益，其全部内容以引用方式并入本文。

技术领域

本公开的一方面涉及存储器系统。

背景技术

现代应用(如数据库、虚拟桌面基础架构和数据分析)具有相对 较大的主内存占用空间。随着系统规模的扩大，存储器容量也应增加， 并且应超线性地增加。

尽管动态随机存取存储器(DRAM)技术强势超越了20纳米半导体 器件制造节点，但为了超线性地增加存储器容量，架构师也可以应用系 统级技术，例如存储器去重，从而将存储器的虚拟容量增加高达两三 倍。一种可能的算法架构可以通过使用类似哈希表的机制来存储唯一数 据内容，以整合这种存储器系统。除了使用哈希表、引用计数器和转换表之外，还可以使用其他数据结构来可靠地跟踪唯一数据行，并且移除 不再由相应的底层存储器地址引用的数据行。然而，这样的技术增加了 元数据开销，从而实际上破坏了去重的原意图(例如，增加有效可用存 储器容量的意图)。

因此，相关技术中的问题可以包括以下内容：新的存储技术的缺 点；写入延迟差、带宽减小、与物理存储器系统的耐久性相关联的问 题；非易失性存储器的复杂管理；高成本比特率；无效地使用DRAM去 重来存储唯一内容；算法中存在元数据结构，例如转换表和引用计数 器；以及未能可靠地实现高数据压缩率。

发明内容

本公开的实施例提供了用于存储器系统的算法架构。该算法架构 可以具有三种不同的主要架构技术，这些技术增加了存储器系统的有效 容量，同时还有效地使用去重哈希表，由此在不显著增加元数据开销并 且不给存储器系统的性能带来负担的情况下提高存储器系统的去重率。

下面描述用于部署该算法架构所采用的三种主要架构技术的硬件 和软件机制。三种主要的架构技术包括哈希表效率(不增加额外开 销)、转换表效率和引用计数器效率。下面还描述用于存储器系统中有 效的元数据管理的路径。

本公开的实施例还减少了基于去重的存储器系统中的辅助数据结 构的开销，并且还通过提供选择适当的去重粒度的动态能力来提高对唯 一数据内容去重的效率。所描述的实施例的算法还为不同的应用提供更 高的有效去重率，并且改善对去重元数据的最大贡献者中的三个。

根据本公开的一方面，提供了一种动态地选择存储器系统中的去 重粒度以减少去重粒度并提高哈希表效率的方法，该方法包括：在使用 所述存储器系统的应用的应用层处选择一个或多个去重粒度，该一个或 多个去重粒度是根据所述存储器系统的特征来选择的；以及分配与所选 择的一个或多个去重粒度中的每一个相对应的存储区域。

选择所述一个或多个去重粒度可以包括使用与使用所述存储器系 统的所述应用相对应的软件驱动程序。

该方法还可以包括重新启动所述存储器系统，以实现由所述软件 驱动程序选择所述一个或多个去重粒度而产生的参数。

选择所述一个或多个去重粒度可以包括将存储空间划分为存储区 域，每个存储区域对应于所述一个或多个去重粒度中的一个相应的去重 粒度。

将存储空间划分为存储区域可以由所述存储器系统的内核驱动程 序来执行。