[发明专利]数据查询实现方法、装置、介质及电子设备

说明书

本发明实施例提供了一种数据查询实现方法、装置、介质及电子设备，该数据查询实现方法包括：获取数据查询进程以及所述数据查询进程的动态配置参数，并向节点管理器提交所述数据查询进程；所述节点管理器对所述动态配置参数进行解析，确定出所述数据查询进程所需的资源，基于所述资源实现数据查询。本发明实施例的技术方案能够稳定、安全地实现在分布式资源管理系统中部署快速的数据查询和处理功能，并且可以根据配置策略，动态实现工作节点的启停、释放以及所占用得系统资源，实现集群资源的充分利用。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据查询实现方法、装置、介质及电子设备。

背景技术

随着数据量的爆炸性增长，数据维度越来越多，数据之间的关联关系也越来越复杂，如何快速攫取数据中隐藏的巨大价值，除了构建优秀的数据模型，还需要快速分析、处理的技术能力。

现有的技术方案主要包括两种。第一种：独立部署模式，该模式独享硬件资源，例如中央处理器(CPU，Central Processing Unit、内存等系统资源，若要扩展和缩减资源，需要手动启动和停止数据查询工作节点；第二种：一种基于资源协调器(Yarn，Yet AnotherResource Negotiator)的第三方框架的插件，即需要引入第三方技术框架，同时实现该插件的接口协议才能基于Yarn统一控制。

目前的两种模式都存在不足，第一种方案的不足是不够灵活、高效，无法动态地根据忙闲程度和时机进行无缝调整，在集群闲时，资源无法被其他框架使用；第二种方案的不足是增加了额外的技术框架，不仅需要进行版本匹配，还需要基于该框架的接口进行实现，不利于维护、扩展和升级，同时引入了另一个不确定的因素，再则第三方插件几近废除，就更加不可靠。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种数据查询实现方法、装置、介质及电子设备，进而至少在一定程度上克服相关技术中无法实现对数据快速分析和处理的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种数据查询实现方法，包括：接收资源管理器发送的数据查询进程以及所述数据查询进程的系统资源分配信息；当接收到配置参数更新数据后，基于所述更新后的配置参数，对所述数据查询进程所分配的系统资源进行调整；基于所述调整后的系统资源实现数据查询。

在本发明的一些实施例中，基于前述方案，所述基于所述更新后的配置参数，对所述数据查询进程所分配的系统资源进行调整，包括：

对所述数据查询进程所占用的系统资源进行动态监控，并基于队列资源状态以及所述更新后的配置参数，对所述数据查询进程进行调整。

在本发明的一些实施例中，基于前述方案，所述基于队列资源状态以及所述更新后的配置参数，对所述数据查询进程进行调整，包括：

当数据查询进程所占用的系统资源大于预设资源阈值时，关闭所述数据查询进程，直至所述数据查询进程所占用的资源小于等于所述预设资源阈值；

当数据查询进程所占用的系统资源小于预设资源阈值时，启动所述数据查询进程，直至所述数据查询进程所占用的资源大于等于所述预设资源阈值。

在本发明的一些实施例中，基于前述方案，所述基于所述调整后的系统资源实现数据查询，包括：

接收数据查询协调器发送的查询子任务；

将所述查询子任务转换为物理执行计划，基于所述物理执行计划进行数据查询，获得查询结果；

将所述查询结果向数据查询协调器上传。