[发明专利]大数据处理方法及系统

说明书

本申请公开了一种大数据处理方法及系统，属于计算机技术领域。所述方法包括：获取目标函数的多个配置参数的值和目标函数的第一格式的代码；获取目标大数据计算引擎的指定函数模板，目标大数据计算引擎是多个大数据计算引擎中目标函数待部署的引擎；基于多个配置参数的值、第一格式的代码和指定函数模板，生成目标大数据计算引擎支持的目标函数的第二格式的代码。本申请解决了函数的使用局限性较高的问题。本申请用于生成函数。

技术领域

本申请涉及计算机技术领域，特别涉及一种大数据处理方法及系统。

背景技术

随着计算机技术的发展及云时代的来临，互联网中存在的数据越来越多，大数据(Big data)吸引了越来越多的关注。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

用户可以通过大数据计算引擎对大数据进行计算处理，且大数据计算引擎支持用户自行编写函数，并采用该函数对大数据进行计算处理。目前存在多种大数据计算引擎，每个计算引擎可以基于一种计算框架实现，不同的计算框架支持的数据处理方式不同。

因此，通过每个计算引擎编写的函数仅能在该计算引擎中使用，用户编写的函数的使用局限性较高。

发明内容

本申请提供了一种大数据处理方法及系统，可以解决函数的使用局限性较高的问题。所述技术方案如下：

一方面，提供了一种大数据处理方法，应用于大数据处理系统，所述方法包括：

获取目标函数的多个配置参数的值和所述目标函数的第一格式的代码；

获取目标大数据计算引擎的指定函数模板，所述目标大数据计算引擎是多个大数据计算引擎中所述目标函数待部署的引擎；

基于所述多个配置参数的值、所述第一格式的代码和所述指定函数模板，生成所述目标大数据计算引擎支持的所述目标函数的第二格式的代码。

另一方面，提供了一种大数据处理系统，所述大数据处理系统包括：

数据流页面模块，用于获取目标函数的多个配置参数的值和所述目标函数的第一格式的代码；

自定义函数模块，用于获取目标大数据计算引擎的指定函数模板，所述目标大数据计算引擎是多个大数据计算引擎中所述目标函数待部署的引擎；基于所述多个配置参数的值、所述第一格式的代码和所述指定函数模板，生成所述目标大数据计算引擎支持的所述目标函数的第二格式的代码。

再一方面，提供了一种大数据处理系统，所述大数据处理系统包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的大数据处理方法。

又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的大数据处理方法。

本申请提供的技术方案带来的有益效果至少包括：

本申请提供的大数据处理方法中，可以基于目标函数的多个配置参数的值、目标函数的第一格式的代码和目标大数据引擎的指定函数模板，生成目标大数据计算引擎支持的目标函数的第二格式的代码，且目标大数据计算引擎是多个大数据计算引擎中目标函数待部署的引擎。如此一来，可以无需在该目标大数据计算引擎上编写目标函数，就保证目标函数可以在其待部署的目标大数据计算引擎上使用，降低了目标函数的使用局限性。

附图说明

图1是本申请实施例提供的一种大数据处理方法的流程图；

图2是本申请实施例提供的另一种大数据处理方法的流程图；