[发明专利]一种分布式多节点查询方法和系统

说明书

本发明提出一种分布式多节点查询方法和系统，其方法技术方案包括数据存储步骤，在一分布式系统中选举一领导者节点，所述领导者节点收到数据分片存储请求后，在所述分布式系统中选取存储节点进行存储，并存储所述数据分片的位置信息；数据查询步骤，所述领导者节点收到数据分片查询请求后，根据所述位置信息获取所述数据分片所在的所述存储节点，获取并返回所述数据分片。本发明解决了解决现有技术方案在进行分布式存储和查询时可用性较低的问题，基于Raft算法来在多个工作节点之间同步数据分片位置信息，Raft算法会保证这个位置信息不会丢失，并以此实现整个查询的高可用性能。

技术领域

本发明属于数据存储领域，尤其涉及一种分布式多节点查询方法和系统。

背景技术

随着数据量越来越大，单台服务器不足以存储全部数据，且从单台服务器查询速度较慢，所以采用分布式多节点架构，对全部数据进行分片存储，按照负载量存储到多台服务器上，查询时并行查询，提高效率。这就需要维护分片的位置信息，以及维护多节点之间的通信。

目前常用的方式为通过在工作节点(实际存储分片并执行并行查询的节点)之外部署协调节点，来维护相关信息。但是协调节点完成的工作并不是实际存储分片和执行查询，需要额外耗费服务器资源，而且一旦点协调节点出问题，查询时就找不到具体分片所在的工作节点，导致查询不可用，降低整个查询系统的可用性。

发明内容

本申请实施例提供了一种分布式多节点查询方法和系统，以至少解决现有技术方案在进行分布式存储和查询时可用性较低的问题。

第一方面，本申请实施例提供了一种分布式多节点查询方法，包括：数据存储步骤，在一分布式系统中选举一领导者节点，所述领导者节点收到数据分片存储请求后，在所述分布式系统中选取存储节点进行存储，并存储所述数据分片的位置信息；数据查询步骤，所述领导者节点收到数据分片查询请求后，根据所述位置信息获取所述数据分片所在的所述存储节点，获取并返回所述数据分片。

优选的，所述数据存储步骤包括：所述领导者节点在所述分布式系统中选取负载最小的多个所述存储节点，并将所述数据分片存储在该多个所述存储节点中。

优选的，所述数据存储步骤还包括：所述领导者节点在所述分布式系统中的全部节点中存储所述数据分片的位置信息。

优选的，所述数据存储步骤还包括：领导者节点选举步骤，若当前的所述领导者节点故障，则根据一预设标准重新选举所述领导者节点。

优选的，所述数据查询步骤包括：所述领导者节点首先通过Raft算法判断所述存储节点是否存活，若存活，则从存活的所述存储节点中获取所述数据分片。

第二方面，本申请实施例提供了一种分布式多节点查询系统，适用于上述一种分布式多节点查询方法，包括：数据存储单元，在一分布式系统中选举一领导者节点，所述领导者节点收到数据分片存储请求后，在所述分布式系统中选取存储节点进行存储，并存储所述数据分片的位置信息；数据查询单元，所述领导者节点收到数据分片查询请求后，根据所述位置信息获取所述数据分片所在的所述存储节点，获取并返回所述数据分片。

在其中一些实施例中，所述数据存储单元包括：所述领导者节点在所述分布式系统中选取负载最小的多个所述存储节点，并将所述数据分片存储在该多个所述存储节点中。

在其中一些实施例中，所述数据存储单元还包括：所述领导者节点在所述分布式系统中的全部节点中存储所述数据分片的位置信息。

在其中一些实施例中，所述数据存储单元还包括：领导者节点选举模块，若当前的所述领导者节点故障，则根据一预设标准重新选举所述领导者节点。

在其中一些实施例中，所述数据查询单元包括：所述领导者节点首先通过Raft算法判断所述存储节点是否存活，若存活，则从存活的所述存储节点中获取所述数据分片。