[发明专利]基于持久内存技术的全局资源管理方法及系统

说明书

本发明公开的一种基于持久内存技术的全局资源管理方法及系统，包括：获取远方客户端NVME over RDMA数据，存储至DRAM空间，通过RDMA数据分页模块按QLC的页大小将数据进行条带化处理，并将条带化数据搬移到PM持久内存空间；将PM持久内存空间内部按容器化的方式组织起来，每个容器的大小等于QLC介质的页大小，并记录元数据和日志；通过全局QLC SSD资源管理控制器设置服务器内部磨损均衡和垃圾回收策略，并通过服务器RAID控制模块实现条带化数据的并行读写，并快速生成异或校验；并在最底层SSD通过轻量级的SSD控制器按QLC的页大小写入及读出数据。本发明将QLC SSD的写放大进行最大地消除，实现快速频繁地访问，并且读写速度快。

技术领域

本发明涉及内存管理技术邻域，更具体的，涉及一种基于持久内存技术的全局资源管理方法及系统。

背景技术

SSD（固态硬盘）内部使用flash介质颗粒作为存储的主体，但是flash介质分成SLC、MLC、TLC、QLC等不同类型。影响SSD使用寿命的擦写次数从SLC到QLC递减，而存储容量则递增。SLC能有十万次的数量级，而QLC只能擦写数百次。但是SLC、MLC、TLC等介质的SSD容量小、价格贵，QLC虽然容量大，但是却存在不耐擦写的隐患，操作不慎会丢失数据。FLASH介质的特点是数据块必须按页大小写入，如果每次能确保按QLC的页大小写数据，并且数据也确实是完整地写入到一个页中，这样SSD的垃圾回收和磨损均衡都很清晰可控，不存在写放大的问题。但是SSD盘片上有SSD controller的存在，SSD controller有自己的策略，负责处理写入数据合并，磨损均衡和垃圾回收。这样尽管在每个SSD盘片上，资源得到了合理的应用，但是在一个服务器内部来看，flash的资源并没有得到最佳的使用。

每个SSD都有自己的SSD控制器，这个控制器不仅负责数据的读写处理，同时也负责本盘Flash资源的垃圾回收（GC）和磨损均衡（wear leveling）等操作。但这样实际上存在资源重复管理的问题，因为垃圾回收和磨损均衡能都在SSD的单独范围内执行，当SSD进行这些操作时，不仅读写性能不能百分之百地保证，而且严格地按页的粒度写入数据也难以实现。不能实现严格地按页以append（追加）的方式写入数据，就意味着flash的资源没有被充分利用和管理。即便是使用SLC、MLC、PM等作为缓冲层能够部分地解决问题，通常的方式都是在缓冲层积累到一定数量的数据后再按较大的颗粒度向SSD写下去，这只是增大了写满flash页的概率。因为使用独立的SSD，其问题依然存在，只是程度减缓而已。主要还是Flash的资源没有被统一精细化管理，写放大或多或少地还是存在，垃圾回收和磨损均衡的操作比较随机；在垃圾回收和磨损均衡期间，SSD的读写性会受到影响。

发明内容

为了解决上述技术问题，本发明提出了一种基于持久内存技术的全局资源管理方法及系统。

本发明第一方面提供了一种基于持久内存技术的全局资源管理方法，包括：

获取远方客户端NVME over RDMA数据，存储至DRAM空间，通过RDMA数据分页模块按QLC的页大小将数据进行条带化处理，并将条带化数据搬移到PM持久内存空间；

将PM持久内存空间内部按容器化的方式组织起来，每个容器的大小等于QLC介质的页大小，并记录元数据和日志；

通过全局QLC SSD资源管理控制器设置服务器内部磨损均衡和垃圾回收策略，并通过服务器RAID控制模块实现条带化数据的并行读写，并快速生成异或校验；

并在最底层QLC SSD通过轻量级的SSD控制器按QLC的页大小写入及读出数据。

本方案中，将内存空间划分为DRAM空间部分及PM持久内存空间部分；

所述DRAM空间部分作为RDMA的空间和其它软件RAM的存储空间；