[发明专利]数据查询方法、装置、电子设备及存储介质

说明书

本发明涉及大数据，提出一种数据查询方法，包括：在接收到数据查询请求后，对数据查询请求进行限流验证及分配，目标查询服务器接收数据查询请求后，对数据查询请求进行解析校验，当校验通过时基于元数据将数据查询请求分解为多个子任务，分别为多个子任务生成查询语句，转化查询语句为对应api，供各数据源执行引擎进行数据查询，接收各数据源执行引擎反馈的查询结果并返回给用户。本发明还涉及区块链技术，所述元数据可存储于区块链节点中。本发明还提出一种数据查询装置、设备及存储介质。利用本发明，可以提高数据查询的效率。

技术领域

本发明涉及人工智能中的大数据技术领域，尤其涉及一种数据查询方法、装置、电子设备及计算机可读存储介质。

背景技术

大数据服务中，需要对外提供离线数据和实时数据接口时，常规的接口开发需要进行代码开发，测试运行，版本发布，还需要维护接口与调用方的关系，维护接口与底表字段的映射关系，开发周期长，较为繁琐。在这个信息爆炸的时代，大数据团队每天需要处理的数据往往是以TB来计算，传统接口开发不能很好的做到统一数据出口和统一查询逻辑，而且需求经常多变。目前的接口开发，单从各个系统中看，数据存储往往存在不同的存储介质中，比如oracle、redis、cassandra、elasticSearch等等，然而，现有的开发方式存在以下两个问题：

1)如果需求需要的数据存储在不同的数据源中时，如何通过一个统一的接口到不同的数据库中查询数据，而调用方并不需要知道数据来源，这种异构性数据的融合是一个难点。

2)当需要的数据底层数据库中没有，但能通过不同库中的数据计算出来，传统的做法是需要新建表或者新建字段，通过数据迁移备份然后写语句计算将出来的结果保存在某个库中，数据库变动较大，数据冗余多，增加存储空间及开发成本。

因此，亟需提供一种数据查询方法。

发明内容

鉴于以上内容，本发明提供一种数据查询方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据查询的效率。

为实现上述目的，本发明提供一种数据查询方法，该方法包括：

Nginx服务器接收用户通过客户端发出的数据查询请求，所述数据查询请求携带加密形式的待查询字段、接口入参及验签数据；

所述Nginx服务器对所述数据查询请求进行限流验证，当判断所述数据查询请求限流验证通过时，基于负载均衡算法从所述多台查询服务器中确定与所述数据查询请求对应的目标查询服务器，将所述数据查询请求分配至所述目标查询服务器；

当所述目标查询服务器接收到所述数据查询请求，解析所述加密形式的待查询字段、接口入参及验签数据，基于解析结果及预设校验规则对所述数据查询请求进行校验；

当所述数据查询请求校验通过时，基于预先管理的元数据将所述数据查询请求分解为多个子任务，分别将所述多个子任务的参数填充进sql查询语句模板，生成所述多个子任务对应的sql查询语句，其中，所述元数据存储于区块链中；

将所述多个子任务对应的sql查询语句转换为所述多个子任务对应的数据源执行引擎可识别的接口函数，采用多线程将所述接口函数分发到对应的数据源执行引擎中，以供所述数据源执行引擎多线程并行调用所述接口函数查询数据；及

接收所述数据源执行引擎返回的所述多个子任务对应的数据查询子结果，将所述数据查询子结果写入结果集，向所述用户返回并展示所述查询结果集。

此外，为实现上述目的，本发明还提供一种数据查询装置，该装置包括：

接收模块，用于控制Nginx服务器接收用户通过客户端发出的数据查询请求，所述数据查询请求携带加密形式的待查询字段、接口入参及验签数据；