[发明专利]基于大数据处理框架的任务分类处理方法以及计算机设备

说明书

本发明提供一种基于大数据处理框架的任务分类处理方法，将所有类型的大数据平台请求任务进行分类；根据请求任务的类型，将调用该任务接口将请求任务数据提交至大数据平台；根据请求任务数据调用对应的大数据框架的任务接口；大数据处理框架接收所述请求任务数据，构建大数据处理框架上下文；请求任务所需源数据，执行任务，输出结果；本发明提供一种计算机设备，提高了大数据平台应用的开发效率，节约了大量的开发资源。

技术领域

本发明涉及一种基于大数据处理框架的任务分类处理方法以及计算机设备。

背景技术

大数据处理框架负责对大数据系统中的数据进行计算(管理和处理)的框架系统。数据包括从持久存储中读取的数据或通过消息队列等方式接入到系统中的数据，而计算则是从数据中提取信息的过程。现在每种大数据计算框架都支持多种的大数据计算类型，例如支持Query的SQL运算基本每个大数据计算框架都支持，就是没有直接支持的也可以使用间接的方式实现。那么也就意味着一种类型的大数据计算请求是可以把请求发送到多个大数据处理框架进行执行，只是每个框架执行的效率及方式不同，此时大家基本都是通过输入、输出、性能、使用资源等全盘考虑，择优选择。其他类型的大数据处理也是如此例如OLAP、流计算、搜索查询、图计算、机器学习等。在大数据平台上每个大数据处理框架往往背后都带有一个默认指定的兼容较好的大数据存储框架，那么在大数据平台上实现不同类型的大数据处理运算，把任务提交到某个框架上，往往需要的数据源一部分来自持久存储的大数据存储框架或者其他存储框架或者消息队列方式接入的流数据，其他的数据源都是来至大数据处理框架，因为其背后都带有存储框架，此时大数据处理框架就成了数据源。正如前面提到的每个任务具体使用哪个框架是通过输入、输出、性能、使用资源等全盘考虑，择优选择。如果要在一个应用程序系统中可以针对相同类型的任务使用不同的处理框架，需要对每个处理框架逐一实现，而且当提交任务的时候需要涉及大量关于执行框架的信息，如果需要对每个大数据处理框架的支持，这样客户端就比较庞大臃肿。

发明内容

本发明要解决的技术问题，在于提供一种基于大数据处理框架的任务分类处理方法以及计算机设备，提高了大数据平台应用的开发效率，节约了大量的开发资源。

本发明之一是这样实现的：一种基于大数据处理框架的任务分类处理方法，包括：

步骤1、将所有类型的大数据平台请求任务进行分类；

步骤2、根据请求任务的类型，将调用该任务接口将请求任务数据提交至大数据平台；根据请求任务数据调用对应的大数据框架的任务接口；；

步骤3、大数据处理框架接收所述请求任务数据，构建大数据处理框架上下文；

步骤4、请求任务所需源数据，执行任务，输出结果。

进一步地，所述步骤1进一步具体为：将所有类型的大数据平台请求任务进行分类，所述分类类型包括Query任务、OLAP任务、Stream任务、Search任务以及其他任务。

进一步地，所述步骤4进一步具体为：请求任务所需源数据，执行任务，将输出的结果按照指定的封装类型进行封装，输出结果。

本发明之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤1、将所有类型的大数据平台请求任务进行分类；

步骤2、根据请求任务的类型，将调用该任务接口将请求任务数据提交至大数据平台；根据请求任务数据调用对应的大数据框架的任务接口；；

步骤3、大数据处理框架接收所述请求任务数据，构建大数据处理框架上下文；

步骤4、请求任务所需源数据，执行任务，输出结果。