[发明专利]一种信息处理方法及电子设备

说明书

本发明实施例公开了一种信息处理方法及电子设备。所述方法包括：获得第一查询数据，和/或，获得表征计算设备的负载状态的第一负载信息；分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架。

技术领域

本发明涉及信息处理技术，具体涉及一种信息处理方法及电子设备。

背景技术

常用的计算框架例如Impala、MapReduce、Spark等等，当然，不限于上述列举的计算框架(其中，Impala为一种查询系统；MapReduce为一种编程模型，可提供大规模数据集的并行运算；Spark为用于大规模数据处理的计算引擎)。通常情况下，多种计算框架都会部署在一个集群中，运行在集群资源调度器至上。而数据分析人员或者业务人员通常不熟悉每个计算框架的原理或特性，从而面对多种计算框架显得无所适从。现有技术中，用户通常需要花费大量的时间和精力了解每个计算框架的原理或特性，选择计算框架，或者根据经验或者主观意愿选择计算框架；前者需要花费用户大量的时间和精力，不利于用户的体验；另外，两种方案选择出的计算框架也不一定是最优的计算框架，容易导致集群资源整体利用率较低的问题，并且，在并发查询量较大的情况下，用户的查询操作响应时间过长，也不利于用户的体验。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种信息处理方法及电子设备。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种信息处理方法，所述方法包括：

获得第一查询数据，和/或，获得表征计算设备的负载状态的第一负载信息；

分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；

基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；

其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架。

上述方案中，所述分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数，包括：

分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；

基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。

上述方案中，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架之前，所述方法还包括：

获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息和/或资源占用信息。

上述方案中，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，包括：

基于所述第一参数选择所述预设策略中、与所述第一参数相对应的数据处理能力相匹配的第一计算框架；

其中，所述预设策略中包括至少一组参数范围与计算框架的映射关系。

上述方案中，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，包括：

选择所述预设策略中与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。