[发明专利]一种大数据计算方法、装置及大数据平台

说明书

本申请涉及一种大数据计算方法、装置及大数据平台，该方法包括：获取计算任务；在大数据平台中确定所述计算任务对应的计算引擎，所述大数据平台中部署至少两个计算引擎；将所述计算任务路由到所述计算引擎，由所述计算引擎根据所述计算任务在所述大数据平台中获取待计算数据，根据所述计算任务执行对所述待计算数据的计算；输出所述计算引擎得到的计算结果。该技术方案对于用户多种计算需求，都可在一个大数据平台上完成，用户无需学习和使用多个平台。并且，用户仅需把计算所需数据授权给一个大数据平台，就可以进行不同类型的计算，降低数据存储成本及网络传输成本。另外，对同一计算环境的运维资源消耗较低，降低了运维成本。

技术领域

本申请涉及计算机技术领域，尤其涉及一种大数据计算方法、装置及大数据平台。

背景技术

目前企业普遍存在海量的各种文件数据、视频音频等流媒体数据、物联网数据、生产系统的各类数据库数据等，包含结构化、半结构化及非结构化数据。在企业决策分析过程中，需要对这些数据进行数据加工和计算，经过数据分析和数据挖掘总结萃取出对企业营销、企业运营、企业服务能够提供高价值的决策信息。对于企业的海量大数据，在决策分析过程中需要经过各类数据计算，很多企业构建了不同的数据计算平台环境，来支持企业的不同计算业务场景，如：批处理计算平台、实时计算平台环境、实时数据仓库环境等。

但是，现有各类计算服务分布在不同平台环境，各平台的用户操作方式、UI风格、使用流程等存在很大差异，用户学习和使用成本高昂；用户在使用过程中，需要把所需数据拷贝或授权给不同的计算服务系统，然后再进行计算，造成数据存储成本和网络传输成本高昂；不同的计算环境需要不同人员、机器、运维系统等资源，造成运维成本高昂。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种大数据计算方法、装置及大数据平台。

根据本申请实施例的一个方面，提供了一种大数据计算方法，包括：

获取计算任务；

在大数据平台中确定所述计算任务对应的计算引擎，所述大数据平台中部署至少两个计算引擎；

将所述计算任务路由到所述计算引擎，由所述计算引擎根据所述计算任务在所述大数据平台中获取待计算数据，根据所述计算任务执行对所述待计算数据的计算；

输出所述计算引擎得到的计算结果。

可选的，所述方法还包括：

从数据源采集原始数据；

将所述原始数据转换为预设文件格式，得到待存储数据；

将所述待存储数据存储到所述大数据平台的第一Hadoop集群中，所述待存储数据自动分布到所述第一Hadoop集群的各存储节点中。

可选的，所述方法还包括：

在第二Hadoop集群中部署至少两个所述计算引擎；

根据所述第二Hadoop集群中部署的所述计算引擎构建路由表；

所述在大数据平台中确定所述计算任务对应的计算引擎，包括：

根据所述路由表将所述计算任务路由到所述计算引擎。

可选的，所述第一Hadoop集群与所述第二Hadoop集群为同一集群。

可选的，所述至少两个所述计算引擎为不同类型和/或不同计算框架；

所述计算引擎的类型包括以下至少一种：实时计算引擎、批处理引擎、即席查询引擎、联邦查询引擎和实时数据仓库服务引擎；