[发明专利]流式数据的处理系统和处理方法

说明书

本发明提供一种流式数据的处理系统和处理方法，所述系统包括：函数封装模块，用于对输入端的多个不同类型的数据源进行单独的函数封装；数据采集模块，用于实时采集新增数据；数据处理模块，用于对新增数据进行处理；数据存储模块，用于通过函数封装模块对输出端处理后的新增数据进行单独的函数封装，并进行存储。本发明的处理系统，采用了数据传输处理以及存储的解耦式结构，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

技术领域

本发明涉及数据处理技术领域，具体涉及一种流式数据的处理系统、一种流式数据的处理方法、一种计算机设备和一种非临时性计算机可读存储介质。

背景技术

目前的流式数据计算框架，在开发数据处理平台时，对开发人员的门槛较高，且计算框架比较复杂，因此存在开发难，难部署，不易管理的问题。

发明内容

本发明为解决上述技术问题，提供了一种流式数据的处理系统，采用了数据传输处理以及存储的解耦式结构，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

本发明采用的技术方案如下：

一种流式数据的处理系统，包括：函数封装模块，用于对输入端的多个不同类型的数据源进行单独的函数封装；数据采集模块，用于实时采集新增数据；数据处理模块，用于对所述新增数据进行处理；数据存储模块，用于通过所述函数封装模块对输出端处理后的新增数据进行单独的函数封装，并进行存储。

根据本发明的一个实施例，所述函数封装模块还用于，将进行单独的函数封装的封装方法集成SOURCE框架中。

根据本发明的一个实施例，所述数据处理模块，具体用于，获取所述新增数据的数据类型；根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据；对所述输入数据进行预处理，并存储于缓存模块中。

根据本发明的一个实施例，所述数据存储模块，具体用于，将进行单独的函数封装的封装方法集成SINK框架中；将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法；根据所述封装方法对所述输入数据进行存储。

本发明还提出了一种流式数据的处理方法，包括以下步骤：对输入端的多个不同类型的数据源进行单独的函数封装；实时采集新增数据；对所述新增数据进行处理；对输出端处理后的新增数据进行单独的函数封装，并进行存储。

根据本发明的一个实施例，对输入端的多个不同类型的数据源进行单独的函数封装，包括：将进行单独的函数封装的封装方法集成SOURCE框架中。

根据本发明的一个实施例，对所述新增数据进行处理，包括：获取所述新增数据的数据类型；根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据；对所述输入数据进行预处理，并存储于缓存模块中。

根据本发明的一个实施例，对输出端处理后的新增数据进行单独的函数封装，并进行存储，包括：将进行单独的函数封装的封装方法集成SINK框架中；将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法；根据所述封装方法对所述输入数据进行存储。

本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述的流式数据的处理方法。

本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的流式数据的处理方法。

本发明的有益效果：

本发明采用了数据传输处理以及存储的解耦式结构，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

附图说明