[发明专利]写入操作的控制方法、装置和设备

说明书

本申请公开了一种写入操作的控制方法、装置和设备，涉及大数据技术领域。具体实现方案为：通过设置第一阈值和第二阈值，并将SSTable文件的当前数量分别与第一阈值和第二阈值进行比较，若当前数量大于或等于第一阈值，且小于第二阈值，说明继续写入的话，SSTable文件的数量会存在大于第二阈值的风险，则在单位时间内的前预设时间段内拒绝所有数据写入操作，待预设时间段结束后，再在除预设时间段之外的时间段内允许所有数据写入操作，从而通过前该预设时间段控制拒绝继续写入操作，仅执行SSTable文件的合并，以减少底层的SSTable文件的数量，从而提高了控制的灵活性，使得控制效果较好。

技术领域

本申请设计数据处理技术领域，尤其涉及大数据技术领域。

背景技术

LSM tree是一种基于磁盘的数据结构，其包括两种节点，MemoryTable 节点和SSTable(后续简称SST)节点。MemoryTable在内存中，当有数据写 入时，数据会先被写入多个MemoryTable；当MemoryTable的数量达到阈值 后，MemoryTable中的数据会被写入到多个SSTable中。当SSTable的数量 达到阈值后又会触发合并(即，Compaction)，把多个SSTable合并成一个 SSTable。当写入速度过大时，合并Compaction速度跟不上写入速度，底层 的SSTable的数量会越来越多。由于读数据时需要查询每个SSTable，因此 SSTable越多，读取数据的延时越大。

为了控制底层SSTable的数量，现有技术中，通过设置用于限制SSTable 数量的阈值，使得当SSTable数量达到阈值时，便不再允许任何写入，仅执 行SSTable合并，只有等合并后的底层SSTable的数量小于阈值后才能再次 写入。但是采用现有的方法，在底层SSTable的数量达到阈值之前，写入完 全不受任何影响，可以正常写入；一旦达到阈值，写入流量会出现断崖式下 跌，因此，采用现有的方法，在控制底层SSTable的数量时，控制的灵活性 不高，且控制效果不好。

发明内容

本申请实施例提供一种写入操作的控制方法、装置和设备，在控制底 层SSTable的数量时，提高了控制的灵活性，使得控制效果较好。

第一方面，本申请实施例提供一种数据写入操作的控制方法，该方法 可以包括：

获取SSTable文件的当前数量。

若所述当前数量大于或等于第一阈值，且小于第二阈值，则在单位时 间内的前预设时间段内拒绝所有数据写入操作，待所述预设时间段结束后， 再在除所述预设时间段之外的时间段内允许所有数据写入操作。

由此可见，在本申请实施例中，在控制底层SSTable的数量时，当前 数量大于或等于第一阈值，且小于第二阈值，说明继续写入的话，SSTable 文件的数量会存在大于第二阈值的风险，则在单位时间内的前预设时间段 内拒绝所有数据写入操作，即在该前预设时间段内，仅执行SSTable文件 的合并，以减少底层的SSTable文件的数量，待预设时间段结束后，再在 除预设时间段之外的时间段内允许所有数据写入操作，从而通过前该预设 时间段控制拒绝继续写入操作，仅执行SSTable文件的合并，以减少底层 的SSTable文件的数量，从而提高了控制的灵活性，使得控制效果较好。

在一种可能的实现方式中，所述在单位时间内的前预设时间段内拒绝 所有数据写入操作之前，还包括：

获取所述单位时间内，拒绝所有数据写入操作的拒绝比例；并根据所 述拒绝比例，确定所述单位时间内，拒绝所有数据写入操作的预设时间段。

这样在计算得到预设时间段后，可以在单位时间内的前预设时间段内 拒绝所有数据写入操作，待预设时间段结束后，再在除预设时间段之外的 时间段内允许所有数据写入操作，从而通过前预设时间段控制拒绝继续写 入操作，仅执行SSTable文件的合并，以减少底层的SSTable文件的数量， 从而提高了控制的灵活性，使得控制效果较好。