[发明专利]一种数据查询方法及装置

说明书

本发明实施例提供了一种数据查询方法及装置，该方法包括计算组件接收数据查询请求，对sql数据查询脚本进行语法解析，生成具有执行依赖关系的m个数据查询子任务，并将至少一个第一数据查询子任务分发给各自的数据源节点，基于执行依赖关系和数据查询子结果，执行m个数据查询子任务中的第二数据查询子任务，得到数据查询结果。由于各数据源节点只是传输数据查询子结果给计算组件，并不是传输数据库表的全量数据，因此可以减少计算组件与各数据源节点之间的数据传输量，从而可以降低数据传输过程中所消耗的网络资源。此外，由于该方案充分利用各数据源节点自身支持的计算能力来执行数据查询子任务，因此可以降低计算组件所消耗的计算资源。

技术领域

本发明实施例涉及金融科技(Fintech)领域，尤其涉及一种数据查询方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。在金融领域，随着金融业务的不断扩展，金融业务数据的数量变多且数据的形式也变得多样，如此针对金融业务数据应用的要求也会变高，在此基础上，数据查询在金融业务上的应用也变得广泛。因此，如何进行及时有效地数据查询操作，以满足金融业务的需求就成为急需解决的问题。

现有方案在针对客户端提交的数据查询脚本中涉及的多数据源进行混合查询计算时，通常基于数据查询引擎工具(比如Presto或openLooKeng)，通过各数据源对应的数据源连接器获取各数据源的数据库表的全量数据，并针对各数据源的数据库表的全量数据进行混合计算，即可得到最终的查询结果。然而，这种处理方式一方面在对各数据源的数据库表的全量数据进行混合计算时需要消耗较多的计算资源，另一方面在获取各数据源的数据库表的全量数据时需要消耗较多的网络资源。

综上，目前亟需一种数据查询方法，用以降低数据传输过程中所消耗的网络资源。

发明内容

本发明实施例提供了一种数据查询方法及装置，用以降低数据传输过程中所消耗的网络资源。

第一方面，本发明实施例提供了一种数据查询方法，包括：

计算组件接收数据查询请求；所述数据查询请求中包括结构化查询语言sql数据查询脚本；

所述计算组件对所述sql数据查询脚本进行语法解析，生成具有执行依赖关系的m个数据查询子任务；所述m个数据查询子任务中至少包括一个仅涉及单一数据源节点的第一数据查询子任务；

所述计算组件将至少一个第一数据查询子任务分发给各自的数据源节点；所述数据源节点用于执行第一数据查询子任务并得到数据查询子结果；

所述计算组件基于所述执行依赖关系和所述数据查询子结果，执行所述m个数据查询子任务中的第二数据查询子任务，得到数据查询结果；所述第二数据查询子任务涉及多个数据源节点。