[发明专利]异构数据源的查询方法及装置

权利要求书

1.一种异构数据源的查询方法，其特征在于，包括：

数据接入模块通过内部的数据源访问插件，实现数据源数据的抽取，为数据查询模块提供数据输入；

所述数据查询模块接收查询语句，根据访问接口模块提供的统一查询语法对所述查询语句进行解析，并构造各节点执行的查询操作队列，形成数据查询流水线，完成数据查询。

2.根据权利要求1所述的方法，其特征在于，所述数据查询流水线的初始操作为数据访问算子，所述数据查询模块从数据源中抽取查询请求需要的数据，提交给后续的操作队列，所抽取的数据划分为数据页，属于同一节点的数据页汇总为一个数据分片，作为计算的最小数据单元，在流水线中流转。

3.根据权利要求1或2所述的方法，其特征在于，当所述数据查询流水线为节点内部流水线时，所述方法还包括：

所述数据查询模块通过节点内的流水线依次遍历所有本地查询操作队列，针对每一个操作，从上一个操作取一个数据对象，进行查询，并将结果交给下一个操作执行。

4.根据权利要求1或2所述的方法，其特征在于，当所述数据查询流水线为节点间流水线时，所述方法还包括：

所述数据查询模块为每一个节点启动一个数据抽取任务，主动向上一个查询过程的节点拉数据，取到数据后放入待处理数据队列中，交给后续操作执行。

5.根据权利要求3或4所述的方法，其特征在于，当存在异构数据源的数据关联或聚合查询时，所述方法还包括：

所述数据查询模块按照关联列、分组列对抽取的数据进行数据划分得到数据页，多个节点的数据页合并成为一个数据分片，在数据分片内部进行关联和聚合查询后，再由查询节点进行各分片查询结果汇总。

6.一种异构数据源的查询装置，其特征在于，包括数据接入模块、数据查询模块和访问接口模块，其中，

所述数据接入模块，用于通过内部的数据源访问插件，实现数据源数据的抽取，为所述数据查询模块提供数据输入；

所述数据查询模块，用于接收查询语句，根据所述访问接口模块提供的统一查询语法对所述查询语句进行解析，并构造各节点执行的查询操作队列，形成数据查询流水线，完成数据查询。

7.根据权利要求6所述的装置，其特征在于，所述数据查询流水线的初始操作为数据访问算子，所述数据查询模块，用于从数据源中抽取查询请求需要的数据，提交给后续的操作队列，所抽取的数据划分为数据页，属于同一节点的数据页汇总为一个数据分片，作为计算的最小数据单元，在流水线中流转。

8.根据权利要求6或7所述的装置，其特征在于，当所述数据查询流水线为节点内部流水线时，所述数据查询模块，用于通过节点内的流水线依次遍历所有本地查询操作队列，针对每一个操作，从上一个操作取一个数据对象，进行查询，并将结果交给下一个操作执行。

9.根据权利要求6或7所述的装置，其特征在于，当所述数据查询流水线为节点间流水线时，所述数据查询模块，用于为每一个节点启动一个数据抽取任务，主动向上一个查询过程的节点拉数据，取到数据后放入待处理数据队列中，交给后续操作执行。

10.根据权利要求8或9所述的装置，其特征在于，当存在异构数据源的数据关联或聚合查询时，所述数据查询模块，用于按照关联列、分组列对抽取的数据进行数据划分得到数据页，多个节点的数据页合并成为一个数据分片，在数据分片内部进行关联和聚合查询后，再由查询节点进行各分片查询结果汇总。