[发明专利]基于OCSSD的键值存储系统的写、块粒度压缩合并方法和系统

说明书

本发明公开了基于OCSSD的键值存储系统的写、块粒度压缩合并方法和系统，属于计算机存储领域。本发明通过数据块粒度的选择性压缩合并，避免对非重叠数据块的读入和写回，能够减小LSM‑tree压缩合并过程中的读写放大问题；通过将同一个文件的数据块均匀分布在OCSSD的所有通道中，能够显式利用OCSSD多通道并行的特性，从而提高键值存储系统吞吐量；通过在用户层直接管理底层存储介质，绕过文件系统等中间软件层，减少了对主机资源的消耗，并方便地传递应用软件的语义特征。总的来说，本发明能够有效降低基于LSM‑tree的键值存储系统读写放大问题，消除上层应用软件和底层存储设备之间的语义隔离，提高系统整体键值对操作的吞吐量。

技术领域

本发明属于计算机存储领域，更具体地，涉及基于OCSSD的键值存储系统的写、块粒度压缩合并方法和系统。

背景技术

大容量固态盘(Solid State Drive，SSD)的大物理块应用趋势及3D NAND Flash技术发展，为数据存储管理带来了机遇和挑战。日志结构合并树(log-structured merge-tree，LSM-tree)键值(key-value，KV)存储针对随机写进行优化，提供高效的数据插入和删除，作为持久化存储引擎被广泛应用在数据中心。LSM-tree KV存储直接使用SSD块设备，两者本身都存在读/写放大。更为糟糕的是主机端和设备端管理上各自为政，系统读/写放大问题会进一步叠加，严重降低存储系统整体性能和SSD寿命。基于开放通道SSD的LSM-treeKV存储系统为统一管理软、硬件资源，优化存储系统，减少读/写放大问题，提供了一种解决途径。

现有的基于OCSSD(Open-Channel SSD)的键值存储系统，在设计方案上都利用了OCSSD的特性来实现最终的性能提升，但是这些工作都将重点集中于根据LSM-tree的工作原理，调整IO调度和键值对在OCSSD中的物理分布，并没有从根源上缓解基于LSM-tree的键值存储系统带来的读写放大问题。因而如何根据OCSSD的设备特性调整LSM-tree的设计原理，减小LSM-tree的读写放大问题对闪存使用寿命的影响，提高键值存储系统的读写性能，是一个亟待解决的难点。

专利CN107526550A公开了一种基于日志结构合并树的两阶段合并方法，其主要思想如下：记录LSM-tree中的下层文件与上层所有文件的键重叠范围(相当于键重叠的文件片段)，在下层文件中增加额外的SliceLink元数据来记录这些重叠的文件片段。只有当下层文件SliceLink超过某个阈值时，才执行压缩合并操作。执行压缩合并操作时，只需要读取下层文件和SliceLink对应的上层文件片段，从而减小压缩合并操作导致的读写放大问题。然而，该方法存在以下缺陷：1)查找下层文件中的某个键值对时，需要先读取SliceLink对应的上层文件片段，如果未命中，再读取下层文件自身的内容，引入了额外的小粒度读操作，会导致GET操作的读放大问题；2)上层文件与下层文件重叠的文件片段数量不可控，存在SliceLink元数据过大的隐患；3)依托于文件系统，LSM-tree的压缩合并操作与文件系统的GC操作、SSD内部的GC操作，存在功能冗余，同时LSM-tree的Key索引与文件系统的命名空间管理也存在功能冗余。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了基于OCSSD的键值存储系统的写、块粒度压缩合并方法和系统，其目的在于减小LSM-tree的读写放大问题，尤其是，垃圾回收过程中的读写放大问题和压缩合并操作过程中的读写放大问题，消除上层应用软件和底层存储设备之间的语义隔离，提高键值存储系统的吞吐量。

为实现上述目的，按照本发明的第一方面，提供了一种基于OCSSD的键值存储系统的写方法，该写方法包括以下步骤：

在写过程利用内存跳表中的键值对生成文件时，在生成文件数据块的子过程中，记录该数据块的最小键、最大键和该数据块在文件中的起始偏移量，当该数据块的大小达到闪存页大小的整数倍时，转入S1；若内存跳表中的键值对消耗完毕，转入S3；