[发明专利]一种基于数据加工中心的数据流式处理方法

摘要

本发明公开一种基于数据加工中心的数据流式处理方法，所述数据加工中心中预定义有包括数据校验、排序、聚合和分组的加工方法步骤，以及两个不同加工方法步骤之间的连接关系；数据加工中心还设置有用于连接数据源的数据源接入端口、用于连接用户界面的数据加工方法及流程定义接入端口、目标数据输出端口以及用于连接流程监控单元的加工流程监控接口；数据流式处理方法包括数据获取、流式处理配置、数据加工方法配置以及目标数据源的获得等步骤，用户可通过用户界面配置数据加工方法和定义数据加工流程，从而得到相应的目标数据源。本发明利用大数据平台采用数据流式处理，可提高大数据处理速度，扩大可支持的数据加工方法种类范围。

主权项

1.一种基于数据加工中心的数据流式处理方法，其特征是，所述数据加工中心中预定义有包括数据校验、排序、聚合和分组的加工方法步骤，以及两个不同加工方法步骤之间的连接关系；数据加工中心还设置有用于连接数据源的数据源接入端口、用于连接用户界面的数据加工方法及流程定义接入端口、目标数据输出端口以及用于连接流程监控单元的加工流程监控接口；基于上述数据加工中心的数据流式处理方法包括以下步骤：1）数据获取：通过数据源接入端口获取数据源；数据源接入端口连接的数据源类型包括传统oracle、db2、mysql数据库，MPP数据库Greenplum、teradata，以及hdfs、HBASE、HIVE数据库；2）流式处理配置：为已获取的数据配置 “管道”节点，利用共享内存存储已获取到的数据；3）数据加工方法配置：根据用户通过数据加工方法及流程定义接入端口配置的数据加工方法及数据加工流程，选择和配置相应的加工方法及多个加工方法的流程排序；为已保存在共享内存中的数据配置“转换计算”节点，各“转换计算”节点分别对应一种加工方法；同时在相邻“转换计算”节点之间配置“管道”节点，使得数据通过管道在依次连接的转换计算节点之间流转同时被处理；4）目标数据源的获得：将步骤3）中最后一个转换计算节点输出的数据通过目标数据输出端口输出至目标数据源中。