[发明专利]一种基于智能分流的存储系统文件合并方法及装置

权利要求书

1.一种基于智能分流的存储系统文件合并方法，其特征在于，包括如下步骤：

1)在有小文件需要被合并的情况下，获取缓存池水位和数据池负载，并判断缓存池水位是否超过水位阈值、以及数据池负载是否超过负载阈值；其中，所述数据池负载为数据池中的存储介质的利用率，所述缓存池水位为缓存池中脏数据的总容量/缓存池的总容量，所述脏数据为写入缓存池但还未迁移至数据池的数据；

2)在缓存池水位超过水位阈值且数据池负载没有超过负载阈值的情况下，获取近期的前端业务压力，并将近期的前端业务压力与历史同期的前端业务压力进行相似度比较：

若近期的前端业务压力与历史同期的前端业务压力之间的相似度小于或者等于相似度阈值，则基于近期的缓存池水位对当前的缓存池水位变化趋势进行预测，根据预测结果确定是进行分流处理还是进行不分流处理；

若近期的前端业务压力与历史同期的前端业务压力之间的相似度大于相似度阈值，则基于历史同期的缓存池水位对历史同期的缓存池水位变化趋势进行预测，根据预测结果确定是进行分流处理还是进行不分流处理；

其中，所述前端业务压力为前端业务每秒写入缓存池的数据量；所述不分流处理是指将小文件直接置于缓存池进行合并处理；所述分流处理是指依据设置的分流比例将小文件置于缓存池和数据池分别进行合并处理。

2.根据权利要求1所述的基于智能分流的存储系统文件合并方法，其特征在于，步骤2)中，若对历史同期的缓存池水位变化趋势进行预测的预测结果为上升趋势，则进行分流处理。

3.根据权利要求1所述的基于智能分流的存储系统文件合并方法，其特征在于，步骤2)中，若对历史同期的缓存池水位变化趋势进行预测的预测结果为下降趋势，则暂时不分流，并基于近期的缓存池水位对当前的缓存池水位变化趋势进行预测，根据预测结果确定是进行分流处理还是进行不分流处理。

4.根据权利要求1或3所述的基于智能分流的存储系统文件合并方法，其特征在于，步骤2)中，若对当前的缓存池水位变化趋势进行预测的预测结果为上升趋势，则进行分流处理；若对当前的缓存池水位变化趋势进行预测的预测结果为下降趋势，则进行不分流处理。

5.根据权利要求1所述的基于智能分流的存储系统文件合并方法，其特征在于，步骤1)中，若缓存池水位没有超过水位阈值、或者数据池负载超过负载阈值，则进行不分流处理。

6.根据权利要求1所述的基于智能分流的存储系统文件合并方法，其特征在于，利用基于皮尔逊相关系数和/或欧几里得距离算法的相似度计算模型来将近期的前端业务压力与历史同期的前端业务压力进行相似度比较。

7.根据权利要求1所述的基于智能分流的存储系统文件合并方法，其特征在于，利用时间序列分析模型来基于历史同期的缓存池水位对历史同期的缓存池水位变化趋势进行预测或者基于近期的缓存池水位对当前的缓存池水位变化趋势进行预测；所述时间序列分析模型利用历史缓存池水位变化趋势数据进行训练得到。

8.根据权利要求1所述的基于智能分流的存储系统文件合并方法，其特征在于，利用分流评估模型、以及当前的前端业务压力、当前的缓存池水位和当前的数据池负载来计算所述分流比例；所述分流评估模型的输入为前端业务压力与对应权重的乘积、缓存池水位与对应权重的乘积、以及数据池负载与对应权重的乘积，所述分流评估模型的输出包括分流比例，且所述分流评估模型利用历史的前端业务压力、历史的缓存池水位、历史的数据池负载，以及所述历史的前端业务压力、历史的缓存池水位、历史的数据池负载在当时的分流比例进行训练得到。

9.根据权利要求1所述的基于智能分流的存储系统文件合并方法，其特征在于，在步骤1)之前，还包括如下步骤：实时计算当前能够承载的最大的前端业务压力，并判断当前的前端业务压力是否超过最大的前端业务压力：若超过最大的前端业务压力，则触发前端业务流控机制以限制前端业务的写入带宽；若没有超过最大的前端业务压力，则执行步骤1)。

10.一种基于智能分流的存储系统文件合并装置，其特征在于，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现如权利要求1～9任一项所述的基于智能分流的存储系统文件合并方法。