[发明专利]一种数据处理方法及装置

说明书

本发明实施例提供了一种数据处理方法及装置，数据存储技术领域。该方法包括：选取待执行的合并任务，所述合并任务用于对LSM树存储的至少两个数据块进行合并；判断所述数据存储系统的计算资源占用率是否小于阈值占用率；若计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务功能即服务平台，并接收所述功能即服务平台发送的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。本发明实施例用于避免LSM树形态调整影响数据存储系统的性能。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据处理方法及装置。

背景技术

日志结构合并树(Log-Structured Merge-Tree，LSM树)是一种基于硬盘的数据存储结构，其主要工作原理为：将数据分层存储，当进行更新数据的写入时，先将更新数据以日志的方式写入LSM树的最上层中，并在满足合并(Compaction)条件时，使用归并排序的方式对LSM树存储的数据合并。由于LSM树无需每一次有更新数据需要写入时就进行随机写入，因此LSM树能够降低磁盘的寻道次数，进而改善持久化存储的性能，非常其适用于随机写入的情况。

对LSM树存储的文件进行合并，又称为LSM树形态调整。通过对LSM树存储的数据进行合并，可以减少无效数据，进而减少LSM树存储的数据量，提高存储效率。然而，由于对LSM树存储的数据进行合并的过程中需要消耗大量的计算资源，因此LSM树形态调整可能会影响数据存储系统的性能。

发明内容

有鉴于此，本发明提供了一种数据处理方法及装置，用于避免LSM树形态调整影响数据存储系统的性能。

为了实现上述目的，本发明实施例提供技术方案如下：

第一方面，本发明的实施例提供了一种数据处理方法，应用于数据存储系统，所述方法包括：

选取待执行的合并任务，所述合并任务用于对LSM树存储的至少两个数据块进行合并；

判断所述数据存储系统的计算资源占用率是否小于阈值占用率；

若所述计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务功能即服务平台，并接收所述功能即服务平台发送的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；

将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。

作为本发明实施例一种可选的实施方式，所述将所述合并任务发送至功能即服务平台，并接收所述功能即服务平台返回的合并数据块，包括：

向所述功能即服务平台发送用于执行所述合并任务的请求信息，并接收所述功能即服务平台中用于执行所述合并任务的功能即服务容器标识；

将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；

接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求，并向所述功能即服务容器发送所述至少两个数据块；

接收所述功能即服务容器发送的所述合并数据块。

作为本发明实施例一种可选的实施方式，所述方法还包括：

若所述计算资源占用率小于所述阈值占用率，则基于所述数据存储系统的计算资源执行所述合并任务。

作为本发明实施例一种可选的实施方式，所述基于所述数据存储系统的计算资源执行所述合并任务，包括：

从所述LSM树中读取所述至少两个数据块；