[发明专利]基于Elasticsearch集群的shard分配方法

说明书

本申请提供一种基于Elasticsearch集群的shard分配方法，在创建新索引时，主节点在分配一个新的shard时，先考虑当前每一个可分配从节点的CPU状态和内存状态再进行分配，可以实现将新的shard分配在当前CPU利用率和内存利用率综合最小的可分配从节点上，避免将新的shard创建在已经负载很高的可分配从节点上，从而使得Elasticsearch集群运行更均衡，更稳定。

技术领域

本申请涉及基于Elasticsearch集群技术领域，特别是涉及一种基于Elasticsearch集群的shard分配方法。

背景技术

shard，也称分片。单台服务器无法存储大量数据，由于Elasticsearch集群具有分布式存储的特点，因此Elasticsearch集群可以将一个索引(index)中的数据切分为多个shard，分布在多个节点上存储。

传统Elasticsearch集群的shard分配规则主要针对的是非存储计算分离模式下的shard分配，主要在于新建索引(index)时的shard分配、节点失联时的shard分配、以及整个Elasticsearch集群重启时的shard分配。非存储计算分离模式下，各个节点的shard数据独立存储在各个节点上，互相独立，无法互相调取。传统shard分配规则中，分配是根据每个索引(index)在每个节点(node)上的shard数量决定的，其中夹杂着一些用户的自定义规则以及Elasticsearch集群自己的存储阈值限制。新建索引时，非存储计算分离模式单纯考虑每个节点(node)上的shard数、自定义规则和Elasticsearch集群的存储阈值，而未考虑节点(node)的状态，例如内存状态、CPU状态等，可能因各个索引(index)的使用情况不同最终导致最终集群存在不均衡性和不稳定性。而在存储计算分离模式下，各个节点的shard数据存储在共享存储器中，并且可以互相共享，那么此时各个节点(node)的内存状态、CPU状态就变得非常重要。

发明内容

基于此，有必要针对传统基于Elasticsearch集群的shard分配方法用于存储计算分离模式下，容易导致Elasticsearch集群存在不均衡性和不稳定性的问题，提供一种基于Elasticsearch集群的shard分配方法。

本申请提供一种基于Elasticsearch集群的shard分配方法，应用于Elasticsearch集群的存储计算分离模式，所述方法包括：

判断是否接收到客户端发送的创建索引请求；

若接收到客户端发送的创建索引请求，则依据所述创建索引请求构建shard分配规则；

依据shard分配规则获取从节点中的可分配从节点；

依据每一个可分配从节点的CPU利用状态和内存利用状态，计算每一个可分配从节点的权重，并选取权重最小的可分配从节点作为shard分配节点；

在所述shard分配节点处创建一个shard；

返回所述依据每一个可分配从节点的CPU利用状态和内存利用状态的步骤，创建下一个shard，直至创建的shard总数达到预设shard数量，完成索引的创建。

本申请涉及一种基于Elasticsearch集群的shard分配方法，在创建新索引时，主节点在分配一个新的shard时，先考虑当前每一个可分配从节点的CPU状态和内存状态再进行分配，可以实现将新的shard分配在当前CPU利用率和内存利用率综合最小的可分配从节点上，避免将新的shard创建在已经负载很高的可分配从节点上，从而使得Elasticsearch集群运行更均衡，更稳定。

附图说明

图1为本申请一实施例提供的基于Elasticsearch集群的shard分配方法的流程示意图。

具体实施方式