[发明专利]分布式数据查询的方法和装置

说明书

本发明公开了分布式数据查询的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将数据查询请求拆解成多个子请求；将所述子请求分配至对应的从服务器；获取每个从服务器根据分配的子请求得到该子请求的查询结果，并对所有子请求的查询结果进行合并处理，得到数据查询请求的查询结果。该实施方式由现有技术中的单台服务器处理转变成分布式协同处理，数据处理分流，降低了处理期间CPU和内存高占用、磁盘读写量大等问题，同时大大减少了处理时间，加快查询速度。有效减少了查询过程中故障的发生，保障了其他业务的正常运行。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式数据查询的方法和装置。

背景技术

随着互联网大数据时代的来临，数据通常存储在数据库中，对于数据库的数据导出、查询工作目前通常使用Apache POI来实现。Apache POI是Apache软件基金会的开放源码函式库，Apache POI提供对数据库数据的读写的功能。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.在大批量获取数据查询结果时，一系列获取工作全部集中于单台WEB服务器，CUP和内存、磁盘读写量同时激增，甚至会引起服务器系统崩溃。

2.每次处理大批量获取数据查询结果时，整个过程持续时间长，耗费大量的时间成本。

3.大批量获取数据查询结果时容易引起服务器故障，影响到其他业务的正常运行。

发明内容

有鉴于此，本发明实施例提供一种分布式数据查询的方法和装置，将数据查询请求拆解后分配到各从服务器中处理，对从服务器处理后的查询结果进行合并，由现有技术中的单台服务器处理转变成分布式协同处理，数据处理分流，降低了处理期间CPU和内存高占用、磁盘读写量大等问题，同时大大减少了处理时间，加快查询速度。有效减少了查询过程中故障的发生，保障了其他业务的正常运行。

为实现上述目的，根据本发明实施例的一个方面，提供了一种分布式数据查询的方法，包括：将数据查询请求拆解成多个子请求；将所述子请求分配至对应的从服务器；获取每个从服务器根据分配的子请求得到该子请求的查询结果，并对所有子请求的查询结果进行合并处理，得到数据查询请求的查询结果。

可选地，所述分配至对应的从服务器，包括：确定与所述子请求对应的分片号列表，将所述子请求分配至与该分片号列表对应的从服务器；其中，每个从服务器对应一个分片号列表。

可选地，所述分片号列表中包括至少一个分片号，所述分片号为分布式存储数据库的分库名；每个子请求的查询结果是由所述子请求对应的从服务器，在该从服务器的分片号列表中的所述分库名对应的分布式存储数据库的分库中获取的。

可选地，所述分片号列表中包括至少一个分片号，所述分片号为集中式存储数据库的数据标识；每个子请求的查询结果是由所述子请求对应的从服务器，在该从服务器的分片号列表对应的数据集合中获取的；其中，所述数据集合是由该分片号列表中的所述数据标识对应的集中式存储数据库的数据组成的集合。

可选地，所述将数据查询请求拆解成多个子请求之前，包括：获取从服务器的数量。子请求的数量、分片号列表的数量与从服务器的数量相等，且子请求、分片号列表、从服务器之间一一对应。

可选地，所述获取从服务器的数量，包括：获取未发生故障或未停止工作的从服务器的数量。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种分布式数据查询的装置，包括：逻辑控制单元、分配单元和合并单元；所述逻辑控制单元，用于：将数据查询请求拆解成多个子请求；所述分配单元，用于：将子请求分配至对应的从服务器；所述合并单元，用于：获取每个从服务器根据分配的子请求得到该子请求的查询结果，并对所有子请求的查询结果进行合并处理，得到数据查询请求的查询结果。