[发明专利]一种索引的分片扩容方法及系统

说明书

本发明提供了一种索引的分片扩容方法及系统，所述方法包括获取扩容的指令参数；基于所述指令参数，调用底层索引接口新增索引分片；对分片进行标记，将新数据定向传输至新增的索引分片中，所述新数据为新增索引分片后存储的数据。本发明的分片扩容操作在增加了索引分片后，对分片进行标记，且对新输入数据的存储进行重定向，使新数据存储在新增分片上，优化ES分片数据的路由流程，使ES的分片路由算法逻辑不再受到固定单一因子(分片数)的限制，可以在原有分片的基础上进行扩容提升，进行扩容ES索引的数据存储容量，改善ES的分片管理方法提高索引管理和数据存储效率。

技术领域

本发明涉及索引数据存储技术领域，尤其是一种索引的分片扩容方法及系统。

背景技术

ES(Elasticsearch，一种分布式全文数据库系统服务)服务器是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎。

对于ES服务的分片生成规则，其核心在于ES分片数据写入的路由算法。ES索引的分片，在索引创建之初由ES的运行逻辑将用户设定的分片数代入该路由算法，从而生成索引分片，并引导后续的索引数据遵循该路由算法向分片内写入数据。ES分片路由算法的好处是及其简易有效地维护了ES的写入性能，可以准确地定位并均衡分配索引的每条数据，便于维护集群的稳定性和索引的易用性。

路由算法带来诸多好处的同时也存在极大的限制，因为路由算法以分片数量为算法的核心参数，分片数量一旦改变，ES将失去该索引内最初写入数据的路由值，导致无法再精确地定位到先前的数据，也就导致了索引的primary(ES索引的主分片)分片一旦确定便不能变，更限制了索引的分片扩容。一旦遭遇索引数据量异常增大需要进行分片扩容时，只能进行重新建立索引并迁移数据的操作。

发明内容

本发明提供了一种索引的分片扩容方法及系统，用于解决现有分片数据写入的路由算法在索引数据异常增大时，分片扩容操作复杂的问题。

为实现上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种索引的分片扩容方法，所述方法包括以下步骤：

获取扩容的指令参数；

基于所述指令参数，调用底层索引接口新增索引分片；

对分片进行标记，将新数据定向传输至新增的索引分片中，所述新数据为新增索引分片后存储的数据。

进一步地，所述获取扩容的指令参数之前，还包括步骤：

监控分片和数据状态，评估数据分布的均衡性，在所述均衡性不符合设定条件时，下发扩容的指令参数。

进一步地，所述指令参数包括单索引分片数、单分片数据量和索引数据总量。

进一步地，所述对分片进行标记具体为：

以分片ID作为当前分片的标记位。

进一步地，所述将新数据定向传输至新增的索引分片中具体为：

将所述新数据的原存储ID值与扩容前的分片数相加，得到的数值为当前新数据对应写入的分片标记位。

进一步地，在所述将新数据定向传输至新增的索引分片中之后，还包括步骤：

对新数据增加版本标记，以当前新数据所在的分片ID除以当前索引分片数的结果取余数，作为当前新数据的版本标记；

读取数据时，增加基于所述版本标记的定向查询。

本发明第二方面提供了一种索引的分片扩容系统，所述系统包括：

信息采集单元，用于获取扩容的指令参数；

扩容单元；基于所述指令参数，调用底层索引接口新增索引分片；