[发明专利]基于SCM的Key-Value日志型本地存储方法

说明书

本发明提供了一种基于SCM的Key‑Value日志型本地存储方法，存储方法包括以下步骤：SCM内存划分步骤：对SCM内存进行按功能划分分区，即划分为超级块区、检查点区、页管理区、静态哈希表区、数据存储区这五个不同的逻辑分区；多层次内存管理步骤：构建三层内存管理模块，在不同层面上对内存进行管理，实现页面的动态分配和回收；高并发哈希表构建步骤：使用静态哈希表来索引key‑value对象，使用动态分配的数组存放哈希冲突的元素。本发明中的实现方法根据异构内存介质的硬件特性合理调度分配存储空间，提高存储介质的利用率，延长硬件的使用寿命，提高混合键值存储系统并发性和数据吞吐量。

技术领域

本发明涉及本地数据存储管理系统领域，具体地，涉及一种基于SCM的Key-Value(键-值)日志型本地存储方法。

背景技术

新型存储技术的兴起和不同SCM(Storage Class Memory，存储类内存)器件的出现，引起了人们对混合内存系统架构和管理方式的关注和研究。SCM器件具有非易失性、读快写慢、静态功耗低而动态功耗高等特点，异于传统的内存。国内外众多的专家学者也基于SCM器件提出过多种内存组织方式和优化方法。然而众多的组织方式和优化方法都有各自的局限性和适用范围。

随着云计算、物联网等技术的发展，数据正以前所未有的速度不断增长和累积，如何管理和组织这些数据，对传统的数据存储管理系统来说是一个挑战。现存的Key-Value存储系统，具有代表性的产品有LevelDB、RockDB等。它们都是以磁盘、SSD等块设备作为存储介质，并针对这些物理设备的访问特性进行优化的。

LevelDB是以LSM-tree作为数据管理系统的索引结构，它把写请求累计到内存中，当内存的数据量到达一定阈值时，把内存中的数据连续写入磁盘中，以最大化磁盘的写入速度和吞吐量。LSM-tree通过分层实现数据的合并操作，这种分层操作引入了写放大的问题，即当合并一个表时需要同时读入多个表。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于SCM的Key-Value日志型本地存储方法。

根据本发明提供一种基于SCM的Key-Value日志型本地存储方法，其特征在于，包括如下步骤：

SCM内存划分步骤：将SCM内存以固定大小的页作为划分的基本单位，并对页面进行标号，对SCM内存进行按功能划分分区，划分为超级块区、检查点区、页管理区、静态哈希表区、数据存储区这五个不同的逻辑分区；在SCM内存的第一个页作为超级块区；将SCM内存的第二个页作为检查点区；页管理区可以看作是记录SCM每个内存页的统计信息的数组；将SCM内存的大小除以每个页面的大小，从而得出整个SCM内存的页面总数，即页管理区的记录总数；对于每个页面都有一个记录，记录的大小乘以记录的总数，可以得到页记录区的大小；最后，计算出页管理区所需要的页面数n1，得到整个页管理区的分布；根据整个SCM内存的大小和预估的每个Key-Value对象的平均大小，计算出SCM能够容纳的Key-Value对象的总数目；根据Key-Value对象的总数目，计算出哈希表的大小；将哈希表的大小向上取成2的N次幂，得到哈希表所需要的也页面总数n3；从而，最终确定哈希表的分区位置；

多层次内存管理步骤：构建三层内存管理模块，三层内存管理模块包括第一层内存管理模块、第二层内存管理模块、第三层内存管理模块，在不同层面上对内存进行管理，实现页面的动态分配和回收；第一层内存管理模块对整个SCM页面进行管理，所有工作线程共享第一层内存管理模块；第二次内存管理模块提供SCM日志语义，每个工作线程有自己的第二层内存管理模块；第三层内存管理模块提供Key-Value对象分配操作，每个工作线程有自己的第三层内存管理模块；

高并发哈希表构建步骤：使用静态哈希表来索引key-value对象，使用动态分配的数组存放哈希冲突的元素。