[发明专利]一种分布式系统、数据聚合方法和计算机可读存储介质

说明书

本发明公开了一种分布式系统，其中：协调节点用于：解析查询请求以确定查询请求指向的目标索引分片，获取目标索引分片的分片信息，确定本地存储目标索引分片的查询节点，作为目标节点，根据分片信息构建查询子请求，并将查询子请求发送至目标节点；目标节点用于：接收并解析查询子请求以得到分片信息，根据分片信息定位出本地存储的目标索引分片，运行目标索引分片以得到查询子请求所请求的查询结果，在本地存储的所有目标索引分片不唯一时，聚合所有目标索引分片的查询结果得到第一聚合结果，并将第一聚合结果返回协调节点；协调节点还用于：接收目标节点返回的第一聚合结果，并聚合若干目标节点返回的所有第一聚合结果。

技术领域

本发明涉及计算机技术领域，具体涉及一种分布式系统、数据聚合方法、计算机设备和计算机可读存储介质。

背景技术

ElasticSearch是基于Apache Lucene的分布式检索系统，其可以通过索引实现检索功能。ElasticSearch的检索流程分为query阶段和fetch阶段，query阶段用于根据查询请求查询到doc id列表，fetch阶段用于根据doc id列表获取doc文档。其中，在ElasticSearch系统中，一个索引可以由若干索引分片组成，且ElasticSearch系统中包括多个查询节点，每个查询节点中存储有多个索引分片，接收到查询请求的查询节点又称为协调节点。

在query阶段，协调节点接收查询请求之后，确定查询请求对应的索引分片，并根据每个索引分片的分片信息构建新的查询请求下发给存储该索引分片的查询节点，查询节点接收到该新的查询请求后，根据对应的索引分片执行查询工作，并将每一次的查询结果即doc id列表返回给协调节点，在所有的doc id列表均返回以后，协调节点聚合这些docid列表，然后根据聚合结果执行fetch阶段。

然而，发明人研究发现，现有技术中至少存在如下缺陷：在查询请求对应的索引分片过多时，由协调节点聚合所有索引分片的查询结果，会对协调节点的内存造成巨大的压力，大大增加了协调节点不稳定的因素，严重时甚至会导致协调节点挂掉。

针对现有技术的ElasticSearch检索中不考虑协调节点内存压力，可能引起协调节点不稳定或挂掉的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供了一种分布式系统、数据聚合方法、计算机设备和计算机可读存储介质，能够解决现有技术的ElasticSearch检索中不考虑协调节点内存压力可能引起协调节点不稳定或挂掉的技术问题。

本发明的第一个方面提供了一种分布式系统，所述分布式系统包括若干查询节点，所述查询节点用于接收用户发送的查询请求，且接收所述查询请求的查询节点称为协调节点，其中：所述协调节点用于：解析所述查询请求以确定所述查询请求指向的目标索引分片，获取所述目标索引分片的分片信息，确定本地存储所述目标索引分片的查询节点，作为目标节点，根据所述分片信息构建查询子请求，并将所述查询子请求发送至所述目标节点；所述目标节点用于：接收并解析所述查询子请求以得到所述分片信息，根据所述分片信息定位出本地存储的所述目标索引分片，运行所述目标索引分片以得到所述查询子请求所请求的查询结果，在本地存储的所有所述目标索引分片不唯一时，聚合所有所述目标索引分片的查询结果得到第一聚合结果，并将所述第一聚合结果返回所述协调节点；所述协调节点还用于：接收所述目标节点返回的所述第一聚合结果，并聚合若干所述目标节点返回的所有所述第一聚合结果。

本发明的第二个方面提供了一种数据聚合方法，所述方法包括：接收协调节点发送的查询请求，作为第一查询请求；解析所述第一查询请求以得到分片信息；根据所述分片信息定位出本地存储的目标索引分片；运行所述目标索引分片以得到所述第一查询请求所请求的查询结果；在本地存储的所有所述目标索引分片不唯一时，聚合所有所述目标索引分片的查询结果得到第一聚合结果，并将所述第一聚合结果返回所述协调节点。