[发明专利]基于SCM的Key-Value日志型本地存储方法

摘要

本发明提供了一种基于SCM的Key‑Value日志型本地存储方法，存储方法包括以下步骤：SCM内存划分步骤：对SCM内存进行按功能划分分区，即划分为超级块区、检查点区、页管理区、静态哈希表区、数据存储区这五个不同的逻辑分区；多层次内存管理步骤：构建三层内存管理模块，在不同层面上对内存进行管理，实现页面的动态分配和回收；高并发哈希表构建步骤：使用静态哈希表来索引key‑value对象，使用动态分配的数组存放哈希冲突的元素。本发明中的实现方法根据异构内存介质的硬件特性合理调度分配存储空间，提高存储介质的利用率，延长硬件的使用寿命，提高混合键值存储系统并发性和数据吞吐量。

主权项

一种基于SCM的Key‑Value日志型本地存储方法，其特征在于，包括如下步骤：SCM内存划分步骤：将SCM内存以固定大小的页作为划分的基本单位，并对页面进行标号，对SCM内存进行按功能划分分区，划分为超级块区、检查点区、页管理区、静态哈希表区、数据存储区这五个不同的逻辑分区；在SCM内存的第一个页作为超级块区；将SCM内存的第二个页作为检查点区；页管理区可以看作是记录SCM每个内存页的统计信息的数组；将SCM内存的大小除以每个页面的大小，从而得出整个SCM内存的页面总数，即页管理区的记录总数；对于每个页面都有一个记录，记录的大小乘以记录的总数，可以得到页记录区的大小；最后，计算出页管理区所需要的页面数n1，得到整个页管理区的分布；根据整个SCM内存的大小和预估的每个Key‑Value对象的平均大小，计算出SCM能够容纳的Key‑Value对象的总数目；根据Key‑Value对象的总数目，计算出哈希表的大小；将哈希表的大小向上取成2的N次幂，得到哈希表所需要的也页面总数n3；从而，最终确定哈希表的分区位置；多层次内存管理步骤：构建三层内存管理模块，三层内存管理模块包括第一层内存管理模块、第二层内存管理模块、第三层内存管理模块，在不同层面上对内存进行管理，实现页面的动态分配和回收；第一层内存管理模块对整个SCM页面进行管理，所有工作线程共享第一层内存管理模块；第二次内存管理模块提供SCM日志语义，每个工作线程有自己的第二层内存管理模块；第三层内存管理模块提供Key‑Value对象分配操作，每个工作线程有自己的第三层内存管理模块；高并发哈希表构建步骤：使用静态哈希表来索引key‑value对象，使用动态分配的数组存放哈希冲突的元素。