[发明专利]一种支持均衡资源的Elasticsearch集群扩展方法

说明书

本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法,可包括以下步骤：S1.根据服务器硬件资源安装Elasticsearch节点；S2.设置动态集群的基本参数和记录动态集群的一些状态值，并将这些参数和动态值以数据库或XML的形式持久化到磁盘中；S3.创建一个线程，定时检测文档数和占用空间，如果达到阈值，则根据系统参数动态创建分片和调整入库策略。本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量，并支持按目标数据量和磁盘空间阈值自动创建库和分片，动态扩展集群；既避免了一个分片数据量太大，也避免了新数据插入时出现局部热点的问题，同时兼任新的服务器加入集群后，能自动识别并对Elasticsearch集群的库和分片做负载均衡。

技术领域

本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法。

背景技术

随着社会的发展进步，已经迈入大数据时代，海量数据的存储和检索已经应用到各个领域。其中全文检索属于其中常用功能之一，类似实现百度、淘宝的查询效果。而Elasticsearch属于全文检索中使用最多的企业级搜索应用服务器，已为埃哲森、暴雪娱乐、戴尔、eBay等大型企业提供解决方案。具备功能丰富、近实时检索、支持集群等特点，且免费开源。

对于海量数据的存储，Elasticsearch支持集群模式，每台服务器上可以部署多个数据节点。每个库可以划分多个主分片(shard)，每个主分片独立存储和部署。每个库要求配置固定的主分片数，入库时根据数据主键(id)的Hash值来分发到不同的主分片(shard)。但是建库(index)时就必须固定主分片数量。比如100亿的数据总量，按每个主分片分配5000万数据量，则可直接创建200个主分片。一旦配置后就无法修改主分片数量，只适合数据量很明确的应用场景。

实际应用场景中，大多数系统的数据量都是不明确，不可能一成不变，通常情况下按年成倍增长。因此，Elasticsearch默认的分片机制无法满足要求，无法固定Hash分片机制中的主分片数。当系统数据量不断增长，已有的服务器资源有限，通常通过横向扩容加入新的服务器到集群中，分担压力。新的机器加入集群后，如何划分分片并加入已有库成为一个问题。

其次集群中的服务器不一样，比如存在新老服务器混合组合的集群，新老服务器磁盘的转速、空间大小、内存大小等资源都可能不一样。如何根据服务器的硬件资源分配数据也是一个问题。

发明内容

针对以上的问题，本发明提供了一种支持均衡资源的Elasticsearch集群扩展方法。具体技术方案如下：

一种支持均衡资源的Elasticsearch集群扩展方法，可包括以下步骤：

S1.根据服务器硬件资源安装Elasticsearch节点；

S2.设置动态集群的基本参数和记录动态集群的一些状态值，并将这些参数和动态值以数据库或XML的形式持久化到磁盘中，其中，所述参数包括库名index_name、最后创建的库名latest_index_name、允许部署的服务器IP地址列表ips、复制因子number_of_replicas、每个分片最多存储的文档数maxDocCount、每个分片存储占用的最大磁盘空间maxStoreSize；

S3.创建一个线程，定时检测文档数和占用空间，如果达到阈值，则根据系统参数动态创建分片和调整入库策略，具体步骤如下：

S31.从Elasticsearch集群中读取最后创建的库latest_index_name的运行状态，包括文档总数、总占用空间、主分片数N和节点总数D，判断文档总数和空间值是否达到阈值，如果文档总数超过maxDocCount×N，或者总占用空间超过maxStoreSize×N，则进入步骤S32，否则进入步骤S39；