[发明专利]流式数据的处理系统和处理方法

权利要求书

1.一种流式数据的处理系统，其特征在于，包括：

函数封装模块，用于对输入端的多个不同类型的数据源进行单独的函数封装，所述函数封装模块还用于将进行单独的函数封装的封装方法集成SOURCE框架中；

数据采集模块，用于实时采集新增数据；

数据处理模块，用于对所述新增数据进行处理，具体获取所述新增数据的数据类型，根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据，对所述输入数据进行预处理，并存储于缓存模块中；

数据存储模块，用于通过所述函数封装模块对输出端处理后的新增数据进行单独的函数封装，并进行存储，具体将进行单独的函数封装的封装方法集成SINK框架中，将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法，根据所述封装方法对所述输入数据进行存储。

2.一种流式数据的处理方法，其特征在于，包括以下步骤：

对输入端的多个不同类型的数据源进行单独的函数封装，将进行单独的函数封装的封装方法集成SOURCE框架中；

实时采集新增数据；

对所述新增数据进行处理，具体获取所述新增数据的数据类型，根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据，对所述输入数据进行预处理，并存储于缓存模块中；

对输出端处理后的新增数据进行单独的函数封装，并进行存储，具体将进行单独的函数封装的封装方法集成SINK框架中，将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法，根据所述封装方法对所述输入数据进行存储。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求2所述的流式数据的处理方法。

4.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求2所述的流式数据的处理方法。