[发明专利]一种数据查询结果的渐进式输出方法、装置及系统

说明书

本发明公开了一种数据查询结果的渐进式输出方法、装置及系统，用以解决现有的数据库查询中，需要完成所有查询操作后才能得到整个结果集，导致数据查询任务响应时间长，无法满足用户及时观察执行结果和尽早处理结果集的需求的问题。方法为：获取SQL语句；对SQL语句进行分析确定SQL语句包含的各操作，并对SQL语句包含的各操作进行渐进式调整，根据渐进式调整的结果生成用于表征SQL语句的渐进式执行过程的树状结构的执行计划，其中，树状结构的执行计划的每个节点对应SQL语句的至少一个操作；按照树状结构的执行计划渐进式执行SQL语句包含的操作，并渐进式输出按照树状结构的执行计划得到的执行结果。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据查询结果的渐进式输出方法、装置及系统。

背景技术

数据库系统是上层应用普遍使用的数据管理系统。在数据库系统中查询操作所占的比例最大，而查询操作所基于的选择(select)语句是结构化查询语言(StructuredQuery Language，SQL)中代价最大的语句。如果数据量积累到一定程度，例如银行的账户数据库表信息积累到上百万甚至上千万条记录，通过查询语句全表扫描一次往往需要数分钟甚至数小时。

因此，在当前数据库系统中大数据集的操作执行时间长，等所有查询操作完成后一次性返回整个结果集。

新型的大数据分布式运算系统如Hadoop、Spark等，基于处于海量数据的MapReduce模型设计，使得大规模数据的操作时间大大缩短，例如使用MapReduce模型仅需分钟级的操作执行时间，而且MapReduce模型下对海量数据也可以进行选择、投影、并集、差集、叉积、聚合等运算。不过，MapReduce模型也是完成所有运算得到最终结果并存储在文件中后返回该最终结果，并且中间运算过程中存在多次跟磁盘文件系统之间的输入输出操作。

因此，大数据分布式运算系统在处理大规模数据时虽在整体上减少了执行时间，但仍存在等待输出结果的时间长，不利于针对该输出结果的并行任务的设计及执行。

当前经典的数据库系统包括Oracle、SQLServer和MySQL。如图1所示为SQLServer的系统架构示意图。以SQLServer为例，当前经典的数据库系统，主要包括：网络管理模块、查询引擎模块和存储引擎模块等。其中，查询引擎模块由查询解析子系统、查询优化子系统和查询执行子系统构成。存储引擎模块由事务管理子系统、缓存管理子系统以及对外提供的访问接口模块构成。SQLServer线性执行对数据库的查询操作，对SQL语句解析后提交给存储引擎执行并等待直至最终结果被存储引擎返回。在SQLServer等数据库系统中，查询结果由查询引擎一次性返回。如图2所示为同一条SQL语句的两种查询树的表达形式，不同的查询树产生不同的中间结果，由此产生不同的输入输出代价。对SQL语句查询优化的大部分工作在于尽量减少不必要的中间结果，以提高查询性能。

Hive采用MapReduce模型的类SQL数据处理框架，是基于Hadoop实现的开元大数据查询系统，工作原理如图3所示，Hive对外提供SQL接口，Hive对SQL命令进行解析，生成Map-Reduce任务，将该任务交给Hadoop分布式执行，由Hadoop执行Map-Reduce任务后返回执行结果。

综上所述，现有的数据库查询中，需要完成所有查询操作后才能得到整个结果集，导致数据查询任务响应时间长，无法满足用户及时观察执行结果和尽早处理结果集的需求，并且无法实现基于大数据处理结果的流水式多任务并行处理。

发明内容

本发明实施例提供一种数据查询结果的渐进式输出方法、装置及系统，用以解决现有的数据库查询中，需要完成所有查询操作后才能得到整个结果集，导致数据查询任务响应时间长，无法满足用户及时观察执行结果和尽早处理结果集的需求的问题。

本发明实施例提供的具体技术方案如下：