[发明专利]基于多NDP协同主机端执行并行任务的KV存储系统优化方法

说明书

本发明提出的一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法，首先在存储系统中设置多个NDP设备，组成多NDP的可计算存储阵列，每一个NDP设备设置一个对应的键值阈值，并根据键值阈值对NDP设备进行排序，获取各NDP设备的键值区间；主机端将获取的存储数据分发到各NDP设备进行存储；当触发压缩任务时，首先获取参与压缩的文件，结合参与压缩的文件的键值范围和键值阈值，将参与压缩的文件分配到对应的NDP设备进行压缩和存储。本发明通过压缩任务的动态分割和分配，达到主机端CPU与NDP设备阵列多CPU协同的效果，且实现了NDP设备与键值存储系统的横向扩展能力，通过NDP设备阵列扩展了存储资源和计算资源。

技术领域

本发明涉及数据压缩技术领域，尤其涉及一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法。

背景技术

计算机技术和互联网的飞速发展促使半结构化和非结构化数据的出现，并且在数据总量中所占比例越来越高，呈指数级增长。而传统关系型数据库在日益增长的非结构化数据规模环境下，无法满足海量数据的高效率存储、高并发和高可扩展性需求。相比而言，键值(key-value)存储不需要预定义数据结构，已被广泛应用于非结构化数据存储和管理，用于提供低延迟的读写速度和支撑海量的数据流量。目前键值存储系统广泛使用日志结构合并树(LSM-tree)来实现数据的存储和管理，将随机写转化为顺序写，从而获得优秀的写性能。为了对数据进行有效的管理，基于日志结构合并树的键值存储系统运行过程中会产生压缩(compaction)操作，用于更新文件文件表(SSTable)并将其迁移到下一个层级。但压缩操作会占用大量主机端与存储设备端I/O带宽，导致性能下降，更新文件文件表也会造成写入数据量放大的问题。

为了解决压缩操作引起的性能下降和写放大问题，现有基于近数据处理(Near-Data Processing，NDP)技术的NDP设备端内优化和主机端与NDP设备端协同处理优化两个方面：

一方面，对于NDP设备端内优化，现有的研究直接将压缩操作迁移到NDP设备端处理。这些研究利用NDP设备端的计算能力处理压缩操作，只需将处理结果反馈给主机端即可，大大减少了主机端和NDP设备端之间的数据传输量，在减少数据写放大的同时一定程度上提升了系统性能。但是这种优化方式对NDP设备端的CPU计算能力依赖较大，将压缩操作迁移后主机端空闲的CPU计算能力未能得到有效的利用，系统性能还有提升的空间。

另一方面，对于主机端与NDP设备端协同处理优化，将压缩操作任务进行分割，由主机端和存储设备端协同处理。现有研究依据不同的分割算法和压缩操作处理方式，将压缩操作任务分配到主机端和NDP设备端，以实现不同策略的协同处理效果。但是，这些优化方案仅仅是针对单个NDP设备端，而面对如今海量的数据处理，单个NDP设备已不能满足用户的存储与处理需求。

由此可见，现有的基于近数据处理的研究方法未考虑充分利用主机端CPU的计算能力以及没有考虑存储设备阵列的需求。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法。

本发明提出的一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法，首先在存储系统中设置多个NDP设备，每一个NDP设备设置一个对应的键值阈值，并根据键值阈值对NDP设备进行排序，获取各NDP设备的键值区间；主机端将获取的存储数据分发到各NDP设备进行存储；当触发压缩任务时，首先获取参与压缩的文件，结合参与压缩的文件的键值范围和键值阈值，将参与压缩的文件分配到对应的NDP设备进行压缩任务的并行执行和存储。

优选的，当主机端获得压缩任务信息，对压缩任务进行分割和分配的方法具体包括以下步骤：