[发明专利]一种Gaia系统中的统一表达API调用系统及调用方法

说明书

本发明提供一种Gaia系统中的统一表达API调用系统及调用方法，涉及大数据处理技术领域。该系统及方法首先创建一个管道对象并设置其执行选项作为API的分布式运行环境；管道对象封装整个API的数据处理任务；然后在创建的管道对象中构建API的初始数据集；并对API的数据集进行数据转换，将原数据集通过转换后生成一个新的数据集，而不改变原数据集；最后将数据转换后满足用户需求的数据集输出至指定位置。本发明的调用系统及方法，调用方便，使用简洁，解决了以往分布式系统中对于流计算和批计算相同功能需要使用不同的环境的问题。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种Gaia系统中的统一表达API调用系统及调用方法。

背景技术

Gaia是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据分析系统。在自适应、可伸缩的大数据存储、批流融合大数据计算、高维大规模机器学习和高时效大数据智能交互向导等大数据分析系统的几个核心层面，解决一系列关键技术问题，构建自主可控的高时效、可伸缩的新一代大数据分析系统，掌握国际领先的大数据分析系统核心技术。

该新型大数据计算系统针对批流混合任务具有全周期多尺度优化和统一计算引擎。现有大数据计算系统或依托自身计算引擎模拟另一类框架的行为，或定义一套通用接口屏蔽底层计算引擎的差异，对批流融合支持较弱。同时，其优化大多位于执行的特定时期或特定层级，且针对高复杂性任务的优化能力不足。针对以上问题，创新性地开发了基于统一计算引擎和全周期多尺度优化的高性能批流融合大数据计算技术。该技术为批流融合处理提供统一表达逻辑支持，通过统一表达建模融合批流处理的计算模型、数据模型、变换模型和动作模型，实现批、流处理的真正融合。针对作业的多样性、持久性、迭代性等特点，提供面向多作业、多任务、迭代计算、持久计算等优化策略，优化针对性更强。同时，提供执行前和执行中的全周期优化，并细分为作业级、任务级、变换级等多个尺度，以实现极速响应和海量吞吐。

对于分布式集群来说，统一表达是非常重要的一部分。统一表达模块可以把批运算和流运算集成到同一分布式处理环境。对于用户来说，处理两种不同的批算子和流算子分常麻烦，需要创建两套分布式处理环境，用不同的算子分别进行处理，并且各自的处理结果不能直接进行交互中，导致数据的最终结果的运算非常繁琐。在实际应用上，大规模云计算是需要同时处理批算子和流算子，就导致处理速度不快、兼容性不够，浪费时间的同时也浪费着系统资源。

因此目前缺少一种Gaia系统中统一表达的应用程序接口(Application ProgramInterface，即API)及其调用方法。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种Gaia系统中的统一表达API调用系统及调用方法，实现Gaia系统中统一表达API的调用。

为解决上述技术问题，本发明所采取的技术方案是：

一方面，本发明提供一种Gaia系统中的统一表达API调用系统，包括环境设定模块、数据获取模块、数据转换模块和数据输出模块；所述环境设定模块，用于设定API的分布式运行环境，具体包括创建一个管道对象并设置其执行选项，管道对象封装整个API的数据处理任务；所述API的数据处理任务包括读取输入数据，变换数据和输出数据；

所述数据获取模块用于获取数据构建API的初始数据集；所述初始数据集的数据可以通过数据获取方法从外部数据源读取，或通过读取Gaia系统内存中的数据并进行Create转换后构建；

所述数据转换模块对API的数据集进行数据转换，创建一个新的数据集；根据数据划分依据、转换函数、触发逻辑及输出结果的时间、误差处理，通过改变、过滤、分组、分析或其他方式处理数据集中的数据元素，进而创建一个新的数据集，而不改变原数据集；管道对象依次将后续数据转换应用于每个新创建的新数据集，直到完成用户需求；

所述数据划分依据基于时间滚动窗口、滑动窗口或会话窗口来划分；