[发明专利]一种支持均衡资源的Elasticsearch集群扩展方法

摘要

本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法,可包括以下步骤：S1.根据服务器硬件资源安装Elasticsearch节点；S2.设置动态集群的基本参数和记录动态集群的一些状态值，并将这些参数和动态值以数据库或XML的形式持久化到磁盘中；S3.创建一个线程，定时检测文档数和占用空间，如果达到阈值，则根据系统参数动态创建分片和调整入库策略。本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量，并支持按目标数据量和磁盘空间阈值自动创建库和分片，动态扩展集群；既避免了一个分片数据量太大，也避免了新数据插入时出现局部热点的问题，同时兼任新的服务器加入集群后，能自动识别并对Elasticsearch集群的库和分片做负载均衡。

主权项

一种支持均衡资源的Elasticsearch集群扩展方法，其特征在于，包括以下步骤：S1.根据服务器硬件资源安装Elasticsearch节点；S2.设置动态集群的基本参数和记录动态集群的一些状态值，并将这些参数和动态值以数据库或XML的形式持久化到磁盘中，其中，所述参数包括库名index_name、最后创建的库名latest_index_name、允许部署的服务器IP地址列表ips、复制因子number_of_replicas、每个分片最多存储的文档数maxDocCount、每个分片存储占用的最大磁盘空间maxStoreSize；S3.创建一个线程，定时检测文档数和占用空间，如果达到阈值，则根据系统参数动态创建分片和调整入库策略，具体步骤如下：S31.从Elasticsearch集群中读取最后创建的库latest_index_name的运行状态，包括文档总数、总占用空间、主分片数N和节点总数D，判断文档总数和空间值是否达到阈值，如果文档总数超过maxDocCount×N，或者总占用空间超过maxStoreSize×N，则进入步骤S32，否则进入步骤S39；S32.计算集群中物理节点的分片平均值avgShardsPerNode，分片包括N个主分片和N×number_of_replicas个从分片，其中avgShardsPerNode＝N×(number_of_replicas+1)÷D；S33.按照公式计算集群计划新增的主从分片总数addTotalShard，其中M表示D个节点中有M个节点的主从分片数小于平均值avgShardsPerNode，shardNum(i)表示i节点的主从分片数；S34.判断新增主从分片总数addTotalShard是否小于(number_of_replicas+1)，若是则进入S35，否则进入S36；S35.调整avgShardsPerNode值加1，跳转到S33；S36.根据公式shardForIndex＝INT(addTotalShard/(number_of_replicas+1))计算新建库的主分片数shardForIndex；S37.创建新索引库index，根据配置设置库的别名、主分片数shardForIndex和复制因子number_of_replicas，逻辑上跟之前的库合并成一个大库，并在主从分片数小于平均值avgShardsPerNode的M个节点上共创建addTotalShard个主从分片，其中节点i创建的主从分片数等于avgShardsPerNode‑shardNum(i)，i＝1,2...,M；S38.更新最后创建的库名latest_index_name的值；S39.线程休眠预定时间，然后跳转到S31。