[发明专利]一种大数据计算方法、装置及大数据平台

权利要求书

1.一种大数据计算方法，其特征在于，包括：

获取计算任务；

在大数据平台中确定所述计算任务对应的计算引擎，所述大数据平台中部署至少两个计算引擎；

将所述计算任务路由到所述计算引擎，由所述计算引擎根据所述计算任务在所述大数据平台中获取待计算数据，根据所述计算任务执行对所述待计算数据的计算；

输出所述计算引擎得到的计算结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从数据源采集原始数据；

将所述原始数据转换为预设文件格式，得到待存储数据；

将所述待存储数据存储到所述大数据平台的第一Hadoop集群中，所述待存储数据自动分布到所述第一Hadoop集群的各存储节点中。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在第二Hadoop集群中部署至少两个所述计算引擎；

根据所述第二Hadoop集群中部署的所述计算引擎构建路由表；

所述在大数据平台中确定所述计算任务对应的计算引擎，包括：

根据所述路由表将所述计算任务路由到所述计算引擎。

4.根据权利要求3所述的方法，其特征在于，所述第一Hadoop集群与所述第二Hadoop集群为同一集群。

5.根据权利要求3所述的方法，其特征在于，所述至少两个所述计算引擎为不同类型和/或不同计算框架；

所述计算引擎的类型包括以下至少一种：实时计算引擎、批处理引擎、即席查询引擎、联邦查询引擎和实时数据仓库服务引擎；

所述计算引擎的计算框架包括以下至少一种：Tez、Spark、MR、Flink、Spark Stream、Storm、Kafka、Presto、Dryad、Druid、Kylin和Impala。

6.根据权利要求1所述的方法，其特征在于，所述在大数据平台中确定所述计算任务对应的计算引擎，包括：

将选定的计算引擎确定为所述计算任务对应的计算引擎；

所述方法还包括：

当检测到所述计算引擎根据所述计算任务进行计算出现运行错误时，确定对所述计算任务的推荐计算引擎，所述推荐计算引擎与所述选定的计算引擎不同；

将所述计算任务路由到所述推荐计算引擎，由所述推荐计算引擎根据所述计算任务执行对所述待计算数据的计算。

7.一种大数据计算装置，其特征在于，包括：

获取模块，用于获取计算任务；

确定模块，用于在大数据平台中确定所述计算任务对应的计算引擎，所述大数据平台中部署至少两个计算引擎；

路由模块，用于将所述计算任务路由到所述计算引擎，由所述计算引擎根据所述计算任务在所述大数据平台中获取待计算数据，根据所述计算任务执行对所述待计算数据的计算；

输出模块，用于输出所述计算引擎得到的计算结果。

8.一种大数据平台，其特征在于，包括：引擎路由及与所述引擎路由连接的至少两个计算引擎；

所述引擎路由，用于确定计算任务对应的计算引擎，将所述计算任务路由到所述计算引擎；

所述计算引擎，用于根据所述计算任务在所述大数据平台中获取待计算数据，根据所述计算任务执行对所述待计算数据的计算，将得到的计算结果输出。

9.根据权利要求8所述的大数据平台，其特征在于，还包括：

采集工具，用于从数据源采集原始数据；

第一Hadoop集群，用于将所述原始数据转换为预设文件格式，将得到的待存储数据分布存储到各存储节点；

所述计算引擎，用于根据所述计算任务从所述第一Hadoop集群获取待计算数据。