[发明专利]异构数据源的查询方法及装置

说明书

本发明提供一种异构数据源的查询方法及装置。所述方法包括：数据接入模块通过内部的数据源访问插件，实现数据源数据的抽取，为数据查询模块提供数据输入；所述数据查询模块接收查询语句，根据访问接口模块提供的统一查询语法对所述查询语句进行解析，并构造各节点执行的查询操作队列，形成数据查询流水线，完成数据查询。本发明能够有效提升异构数据源的查询效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种异构数据源的查询方法及装置。

背景技术

随着计算机网络的迅猛发展和数据爆炸，各大企业业务信息系统变的庞大而又复杂，业务类型呈现多样化、多元化的发展，如何使用这些数据量巨大、类型丰富的数据，发挥数据本身价值将面临着挑战。这些数据分散在不同的业务系统的不同的存储设备里，业务系统处理数据通常只是针对本存储内部的数据进行读取、使用，而且完全依赖底层的数据存储软件，业务系统在使用这些数据时会碰到以下问题：

异构数据源查询语法多样，没有统一的查询语法，无法有效进行跨数据源的数据查询；

数据之间的交互和集成成为瓶颈，数据模型的异构性增强，异构数据查询的高效性，成为迫切需要解决的问题；

跨系统的业务数据关联查询困难，经常需要复制数据，造成大量资源浪费，无法进行有效的关联查询。

针对以上问题，现有方案通常是首先将数据全部复制到一个数据源中，然后进行数据关联查询，这种方案存在以下缺陷：

会造成大量存储和网络资源浪费，同时数据量较大时搬数据占用时间较长，查询效率很低；而且，现有方案仅支持已知数据模型的查询，当面对非结构化或是半结构化等数据模型未知的情况，现有方案不能支持查询；此外，当两种数据源数据格式不一致时，可能发生查询错误。

发明内容

本发明提供的异构数据源的查询方法及装置，能够有效提升异构数据源的查询效率。

第一方面，本发明提供一种异构数据源的查询方法，包括：

数据接入模块通过内部的数据源访问插件，实现数据源数据的抽取，为数据查询模块提供数据输入；

所述数据查询模块接收查询语句，根据访问接口模块提供的统一查询语法对所述查询语句进行解析，并构造各节点执行的查询操作队列，形成数据查询流水线，完成数据查询。

可选地，所述数据查询流水线的初始操作为数据访问算子，所述数据查询模块从数据源中抽取查询请求需要的数据，提交给后续的操作队列，所抽取的数据划分为数据页，属于同一节点的数据页汇总为一个数据分片，作为计算的最小数据单元，在流水线中流转。

可选地，当所述数据查询流水线为节点内部流水线时，所述方法还包括：

所述数据查询模块通过节点内的流水线依次遍历所有本地查询操作队列，针对每一个操作，从上一个操作取一个数据对象，进行查询，并将结果交给下一个操作执行。

可选地，当所述数据查询流水线为节点间流水线时，所述方法还包括：

所述数据查询模块为每一个节点启动一个数据抽取任务，主动向上一个查询过程的节点拉数据，取到数据后放入待处理数据队列中，交给后续操作执行。

可选地，当存在异构数据源的数据关联或聚合查询时，所述方法还包括：

所述数据查询模块按照关联列、分组列对抽取的数据进行数据划分得到数据页，多个节点的数据页合并成为一个数据分片，在数据分片内部进行关联和聚合查询后，再由查询节点进行各分片查询结果汇总。

第二方面，本发明提供一种异构数据源的查询装置，包括数据接入模块、数据查询模块和访问接口模块，其中，