[发明专利]一种索引段合并方法及设备在审
申请号: | 202111106356.X | 申请日: | 2021-09-22 |
公开(公告)号: | CN113761295A | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 杨梦龙;范渊;刘博 | 申请(专利权)人: | 杭州安恒信息技术股份有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 高勇 |
地址: | 310000 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 索引 合并 方法 设备 | ||
1.一种索引段合并方法,其特征在于,包括:
根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数;
根据所述待进行索引段合并时间段的预测数据的存储参数得到所述待进行索引段合并时间段的数据存储低谷期和/或数据存储高峰期;
根据预设索引段合并策略在所述数据存储低谷期和/或数据存储高峰期对目标索引列表中各分片内的索引段进行索引段合并。
2.如权利要求1所述的索引段合并方法,其特征在于,根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数之前,还包括:
判断所述预设时间段的时长是否大于时长阈值;
若是,则进入根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数的步骤;
若否,则不对所述当前集群开启自动索引段合并。
3.如权利要求1所述的索引段合并方法,其特征在于,根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数,包括:
根据预设时间段内各预设时间点的历史数据的存储速度,得出所述待进行索引段合并时间段内各所述预设时间点的预测数据的存储速度。
4.如权利要求3所述的索引段合并方法,其特征在于,根据所述待进行索引段合并时间段的预测数据的存储参数得到所述待进行索引段合并时间段的数据存储低谷期和/或数据存储高峰期之前,还包括:
根据预设时间段内各预设时间点的历史数据的存储速度,得出在所述预设时间段内所述历史数据的存储平均速度;
根据所述待进行索引段合并时间段的预测数据的存储参数得到所述待进行索引段合并时间段的数据存储低谷期和/或数据存储高峰期,包括:
根据所述存储平均速度以及各所述预测数据的存储速度,得出各预设时间点中满足所述预测数据的存储速度低于所述存储平均速度第一预设百分比的各第一时间点;
从各所述第一时间点中确定N个数据存储低谷期,各所述数据存储低谷期的时长大于预设段合并时长,且各所述数据存储低谷期中包含的所述第一时间点的个数比上所述数据存储低谷期中包含的所述预设时间点的个数的比值大于第二预设百分比,N为正整数;
和/或,根据所述存储平均速度以及各所述预测数据的存储速度,得出各所述预设时间点中满足所述预测数据的存储速度不低于所述存储平均速度第三预设百分比的各第二时间点;
从各所述第二时间点中确定M个数据存储高峰期,各所述数据存储高峰期的时长大于所述预设段合并时长,且各所述数据存储高峰期中包含的所述第二时间点的个数比上所述数据存储高峰期中包含的所述预设时间点的个数的比值大于第四预设百分比,M为正整数。
5.如权利要求4所述的索引段合并方法,其特征在于,根据所述待进行索引段合并时间段的预测数据的存储参数得到所述待进行索引段合并时间段的数据存储低谷期之后,还包括:
在任意一个数据存储低谷期开始时,检测磁盘IO在第一预设时长内的平均使用率;
判断所述平均使用率是否低于第一预设使用率且在所述平均使用率检测完成后当前数据存储低谷期的剩余时长是否大于所述预设段合并时长;
若均为是,则进入根据预设索引段合并策略在所述数据存储低谷期对目标索引列表中各分片内的索引段进行索引段合并的步骤;
若否,则进入判断所述平均使用率是否低于第一预设使用率且在所述平均使用率检测完成后当前数据存储低谷期的剩余时长是否大于所述预设段合并时长的步骤。
6.如权利要求5所述的索引段合并方法,其特征在于,根据预设索引段合并策略在所述数据存储低谷期对目标索引列表中各分片内的索引段进行索引段合并,包括:
按照预设顺序依次对所述目标索引列表中各分片内的索引段进行如下索引段合并的操作:
检测所述目标索引列表中当前分片内的索引段占用的存储容量;
将所述当前分片内所述存储容量小于第一预设存储容量阈值的所有索引段进行合并。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州安恒信息技术股份有限公司,未经杭州安恒信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111106356.X/1.html,转载请声明来源钻瓜专利网。