[发明专利]一种索引段合并方法及设备在审
申请号: | 202111106356.X | 申请日: | 2021-09-22 |
公开(公告)号: | CN113761295A | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 杨梦龙;范渊;刘博 | 申请(专利权)人: | 杭州安恒信息技术股份有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 高勇 |
地址: | 310000 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 索引 合并 方法 设备 | ||
本发明公开了一种索引段合并方法及设备,通过分析历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数,然后根据预测数据的存储参数检测出数据存储低谷期和/或数据存储高峰期,实现在数据存储量不规律的情形下,准确的确定数据存储低谷期和/或数据存储高峰期,以便后续在数据存储低谷期和/或数据存储高峰期按照预设索引段合并策略进行索引段合并,能够在不影响数据存储的基础上,提高索引段合并的可靠性和效率,降低内存消耗,提升查询效率。
技术领域
本发明涉及信息检索领域,特别是涉及一种索引段合并方法及设备。
背景技术
Elastic Search是一个开源的基于Lucene的搜索服务器,可以实时存储和检索数据。在Elastic Search中每个索引都会创建一到多个分片,这些分片本质上是Lucene索引,而Lucene索引又由一到多个索引段组成。在Elastic Search将数据存储进磁盘时会创建新的索引段,索引段的数量越多,耗费的内存就会更多,检索性能也会越低,所以通过索引段合并来减少索引段的个数是很重要的。现有技术通常设置固定的周期去进行索引段合并,但由于索引段合并是一个非常耗费磁盘IO的操作,且存储进磁盘的数据量是变化的,因此很容易出现在数据存储高峰期进行索引段合并导致磁盘IO没有足够的剩余资源去处理当前的数据存储任务,或在数据存储低谷期没有充分利用磁盘IO的剩余资源去进行索引段合并导致索引段合并效率低的情况。
发明内容
本发明的目的是提供一种索引段合并方法及设备,能够实现在数据存储量不规律的情形下,准确的确定数据存储低谷期和/或数据存储高峰期,在数据存储低谷期和/或数据存储高峰期按照预设索引段合并策略进行索引段合并,在不影响数据存储的基础上,提高索引段合并的可靠性和效率,降低内存消耗,提升查询效率。
为解决上述技术问题,本发明提供了一种索引段合并方法,包括:
根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数;
根据所述待进行索引段合并时间段的预测数据的存储参数得到所述待进行索引段合并时间段的数据存储低谷期和/或数据存储高峰期;
根据预设索引段合并策略在所述数据存储低谷期和/或数据存储高峰期对目标索引列表中各分片内的索引段进行索引段合并。
优选的,根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数之前,还包括:
判断所述预设时间段的时长是否大于时长阈值;
若是,则进入根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数的步骤;
若否,则不对所述当前集群开启自动索引段合并。
优选的,根据当前集群在预设时间段内的历史数据的存储参数预测待进行索引段合并时间段的预测数据的存储参数,包括:
根据预设时间段内各预设时间点的历史数据的存储速度,得出所述待进行索引段合并时间段内各所述预设时间点的预测数据的存储速度。
优选的,根据所述待进行索引段合并时间段的预测数据的存储参数得到所述待进行索引段合并时间段的数据存储低谷期和/或数据存储高峰期之前,还包括:
根据预设时间段内各预设时间点的历史数据的存储速度,得出在所述预设时间段内所述历史数据的存储平均速度;
根据所述待进行索引段合并时间段的预测数据的存储参数得到所述待进行索引段合并时间段的数据存储低谷期和/或数据存储高峰期,包括:
根据所述存储平均速度以及各所述预测数据的存储速度,得出各预设时间点中满足所述预测数据的存储速度低于所述存储平均速度第一预设百分比的各第一时间点;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州安恒信息技术股份有限公司,未经杭州安恒信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111106356.X/2.html,转载请声明来源钻瓜专利网。