[发明专利]一种面向近数据处理架构下键值存储系统的异步并行优化方法

说明书

本发明涉及数据索引查询技术领域，尤其为一种面向近数据处理架构下键值存储系统的异步并行优化方法，本发明中，利用近数据处理的键值存储技术，本方案将部分compaction计算任务卸载到NDP设备端进行计算来减少数据移动，实现传统的以计算为中心模型向以数据为中心模型的转变。充分挖掘NDP设备端的计算能力，实现异构环境下compaction任务的系统级并行与任务并行，通过多种优先级调度与多队列管理的异步并行策略，有效避免了同步协同策略下因两端计算能力差距带来的延时。此外，跨层compaction机制可以降低写放大，同时提升compaction任务的处理效率。

技术领域

本发明涉及数据索引查询技术领域，具体为一种面向近数据处理架构下键值存储系统的异步并行优化方法。

背景技术

由于互联网的飞速发展，社交网络、搜索引擎、传感器网络、机器数据等非结构化数据呈爆炸式增长。数据规模的增长需要具备更高读写性能的数据库支持，给传统的关系型数据库带来了前所未有的挑战。与关系数据库相比，基于日志结构合并树(LSM-tree)的键值存储(键值)系统具有高吞吐量、高扩展性等特点，其能够将随机写操作转化为批量顺序写操作，利用硬盘顺序写速度快于随机写的特性，从而提升系统的数据写性能。在大规模数据密集型互联网应用中逐渐替代传统关系型数据库而被广泛应用于时延敏感的互联网服务。然而，这种类型的键值存储系统也存在一些严重的性能问题。由于日志结构合并树的数据结构特点，键值存储系统利用压缩(compaction)操作更新数据，但compaction操作会占用大量I/O带宽，引起严重的数据写放大问题，这影响整个键值存储系统的性能。

针对compaction操作对键值存储性能的影响，目前有基于近数据处理(Near-DataProcessing，NDP)技术的NDP主机端与NDP设备端协同处理优化。

利用主机与NDP设备计算能力的协同处理优化，将compaction操作任务进行分割，由主机端和NDP设备端协同处理。现有NDP架构下基于日志结构合并树的键值存储系统协同优化方案均是同步并行处理，即主机端与NDP设备端并行处理同一个compaction任务的不同数据。在任务处理之前需要对compaction任务涉及的排序字符串表(SSTable)进行分割，待到两端都完成各自处理的任务内容后，再对两端的任务反馈信息整合，生成一个完整的compaction任务反馈并提交到系统中，此时一个compaction任务才处理结束。虽然主机与NDP设备同步并行处理compaction任务，但分割与合并任务信息需要花费时间，compaction操作的处理时间还要受到性能较慢一端的影响。虽然有不同的卸载方案来弥补二者间处理时间的差距，但还是受限于同步策略，在实际环境中依然难以平衡两端的处理能力差异。

由此可见，现有的基于近数据处理的研究方法未充分利用主机端和NDP设备端的计算能力以及二者计算能力的差距，未能发挥出整体系统的最大性能，因此，针对上述问题提出一种面向近数据处理架构下键值存储系统的异步并行优化方法。

发明内容

本发明的目的在于提供一种面向近数据处理架构下键值存储系统的异步并行优化方法，利用近数据处理的键值存储技术，本方案将部分compaction计算任务卸载到NDP设备端进行计算来减少数据移动，实现传统的以计算为中心模型向以数据为中心模型的转变。充分挖掘NDP设备端的计算能力，实现异构环境下compaction任务的系统级并行与任务并行，通过多种优先级调度与多队列管理的异步并行策略，有效避免了同步协同策略下因两端计算能力差距带来的延时。此外，跨层compaction机制可以降低写放大，同时提升compaction任务的处理效率,以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：