[发明专利]一种Gaia系统中的统一表达API调用系统及调用方法

权利要求书

1.一种Gaia系统中的统一表达API调用系统，其特征在于：包括环境设定模块、数据获取模块、数据转换模块和数据输出模块；

所述环境设定模块，用于设定API的分布式运行环境，具体包括创建一个管道对象并设置其执行选项，管道对象封装整个API的数据处理任务；

所述数据获取模块用于获取数据构建API的初始数据集；所述初始数据集的数据可以通过数据获取方法从外部数据源读取，或通过读取Gaia系统内存中的数据并进行Create转换后构建；

所述数据转换模块对API的数据集进行数据转换，创建一个新的数据集；根据数据划分依据、转换函数、触发逻辑及输出结果的时间、误差处理，通过改变、过滤、分组、分析或其他方式处理数据集中的数据元素，进而创建一个新的数据集，而不改变原数据集；管道对象依次将后续数据转换应用于每个新创建的新数据集，直到完成用户需求；

所述数据输出模块将最终完成用户需求转换后的数据集输出至指定位置。

2.根据权利要求1所述的一种Gaia系统中的统一表达API调用系统，其特征在于：所述API的数据处理任务包括读取输入数据，变换数据和输出数据。

3.根据权利要求1所述的一种Gaia系统中的统一表达API调用系统，其特征在于：

所述数据划分依据基于时间滚动窗口、滑动窗口或会话窗口来划分；

所述转换函数包括API自带的转换函数、组合转换函数以及用户自定义的转换函数；

所述触发逻辑及输出结果的时间：在API中由管道对象中的水位线和触发器指定；

所述误差处理是指将数据集中的迟到数据作为增量进行计算后输出，或是将迟到数据的计算结果和窗口内数据计算结果合并作为全量进行输出。

4.一种Gaia系统中的统一表达API的调用方法，基于权利要求1所述系统实现，其特征在于：包括以下步骤：

步骤1：设定API的分布式运行环境；创建一个管道对象并设置其执行选项；所述管道对象封装整个API的数据处理任务，具体包括构建初始数据，指定数据转换和输出数据；

步骤2：在创建的管道对象中构建API的初始数据集；使用数据获取方法从外部数据源读取数据，或使用Create转换从Gaia系统内存中的数据构建；构建的初始数据集可以是有界的或是无界的；

步骤3：对API的数据集进行数据转换；根据数据划分依据、转换函数、触发逻辑及输出结果的时间、误差处理方式，通过改变、过滤，分组、分析或其他方式处理数据集中的数据，将原数据集通过转换后生成一个新的数据集，而不改变原数据集；管道对象依次将后续转换应用于每个新生成的数据集，直到完成用户需求；

步骤4：将步骤3数据转换后满足用户需求的数据集输出至指定位置。

5.根据权利要求4所述的一种Gaia系统中的统一表达API调用方法，其特征在于：所述步骤2构建的初始数据集如果是有界的，使用批处理作业处理方式，一次读取整个数据集，并在有限长度的作业中执行处理；如果初始数据集是无界的，则使用连续运行的流式作业处理方式读取数据集。