[发明专利]压实优化方法、装置、分布式存储设备以及存储介质

说明书

本发明实施例涉及存储技术领域，公开了一种压实优化方法、装置、分布式存储系统以及计算机可读存储介质，该方法应用于分布式存储系统，所述分布式存储系统包括位于输入输出IO路径上的路由层和位于内存中的逻辑存储层，该方法包括：通过路由层的路由节点对写IO数据与多个逻辑存储单元分别进行调度；将写IO数据写入对应的逻辑存储单元中的有序数据结构段；在有序数据结构段内积累数据量满足预设条件的情况下，将有序数据结构段的工作模式转换为只读模式；通过压实子单元生成的压实进程对逻辑存储单元中只读模式的有序数据结构段内的数据进行合并操作，并且将合并后的数据下刷至磁盘。通过上述方式，可以在完成压实任务的同时，提供良好的读写性能。

技术领域

本发明实施例涉及存储技术领域，具体涉及一种压实优化方法、装置、分布式存储系统以及计算机可读存储介质。

背景技术

目前，LSM(Log Structured Merge，日志结构化合并)系统设计了compaction(压实)策略，定期对有序数据结构进行合并，以改善读IO的性能。由于系统定期做compaction时会去竞争写IO的带宽，并且，维护有序数据结构和数据同步所带来的计算开销，也容易让CPU成为瓶颈，表现为瞬时的写IO限速或阻塞。因此，如何解决compaction策略的引入，带来了性能抖动的问题已成为当务之急。

发明内容

鉴于上述问题，本发明实施例提供了一种压实优化方法、装置、分布式存储系统以及计算机可读存储介质，用于解决现有技术中存在的compaction策略的引入，带来了性能抖动问题。

根据本发明实施例的一个方面，提供了一种压实优化方法，应用于分布式存储系统，所述分布式存储系统包括位于输入输出IO路径上的路由层和位于内存中的逻辑存储层，所述逻辑存储层包括多个逻辑存储单元，所述逻辑存储单元包含有序数据结构段和压实子单元，所述压实优化方法包括：

通过路由层的路由节点对写IO数据与所述多个逻辑存储单元分别进行调度；

将所述写IO数据写入对应的逻辑存储单元中的有序数据结构段；

在所述有序数据结构段内积累数据量满足预设条件的情况下，将所述有序数据结构段的工作模式转换为只读模式；

通过所述压实子单元生成的压实进程对所述逻辑存储单元中只读模式的有序数据结构段内的数据进行合并操作，并且将合并后的数据下刷至磁盘。

在一种可选的方式中，所述通过所述路由层的路由节点对所述写IO数据与所述多个逻辑存储单元分别进行调度，包括：

基于预设的路由策略，通过所述路由层的路由节点将所述多个逻辑存储单元分别调度至集群中多个节点，以及将所述写IO数据调度中所述多个节点中的第一空闲节点。

在一种可选的方式中，在所述有序数据结构段内积累数据量满足预设条件的情况下，将所述有序数据结构段的工作模式转换为只读模式之后，还包括：

基于预设的压实策略触发压实子单元生成压实进程；

将所述压实进程调度至除所述第一空闲节点以外的第二空闲节点。

在一种可选的方式中，在所述通过所述路由层的路由节点对写IO数据与所述多个逻辑存储单元分别进行调度之后，还包括：

将每个所述逻辑存储单元分别与对应节点的处理器进行绑定。

在一种可选的方式中，在所述通过所述压实子单元生成的压实进程对所述逻辑存储单元中只读模式的有序数据结构段内的数据进行合并操作，并且将合并后的数据下刷至磁盘后，还包括：

更新所述逻辑存储单元包含的有序数据结构段。