[发明专利]一种数据实时处理系统及数据实时处理方法

权利要求书

1.一种数据实时处理系统，其特征在于，包括：人机界面模块、任务管理模块和流式计算引擎模块；

所述人机界面模块，用于显示用户界面并接收用户的输入，根据用户的输入，生成任务的定义并提交至所述任务管理模块，所述任务的定义包括：所述任务中的算子和所述任务中的算子与算子之间的连接关系；

所述任务管理模块，与所述人机界面模块连接，用于根据所述任务的定义，构建任务，并将构建的任务提交至所述流式计算引擎模块；

所述流式计算引擎模块，与所述任务管理模块连接，用于运行所述任务；

还包括：

配置信息服务模块，与所述任务管理模块和所述流式计算引擎模块连接；

其中，所述人机界面模块，还用于根据用户的输入，生成配置信息并提交至所述任务管理模块，所述配置信息包括：配置管理策略和配置数据；其中，所述配置数据包括以下至少之一：所述任务的配置数据和所述任务中的算子的配置数据；

所述配置信息服务模块，进一步用于从所述任务管理模块和/或所述流式计算引擎模块获取系统运行状态信息，根据所述系统运行状态信息和/或所述配置管理策略，更新所述配置数据；所述系统运行状态信息包括以下至少之一：所述任务管理模块的后台状态信息、所述流式计算引擎的状态信息和所述任务的运行状态信息；

所述流式计算引擎模块，还用于从所述配置信息服务模块读取处理后的所述配置信息，根据处理后的所述配置信息，运行所述任务管理模块提交的任务；

流式计算引擎模块运行所述任务管理模块提交的任务时，流式计算引擎中的任务中的算子访问配置信息服务模块，获取最新的配置数据和最新的计算模型。

2.如权利要求1所述的数据实时处理系统，其特征在于，所述用户界面为图形化界面或者命令行界面。

3.如权利要求1所述的数据实时处理系统，其特征在于，

所述人机界面模块，还用于根据用户的输入，产生所述任务的操作命令并提交至所述任务管理模块，所述任务的操作命令包括以下至少之一：提交任务、暂停任务和停止任务；

所述任务管理模块，还用于根据所述任务的操作命令，生成所述任务的相关操作指示，向所述流式计算引擎模块发送所述任务的相关操作指示；

所述流式计算引擎模块，还用于根据所述任务的相关操作指示，执行所述任务的相关操作。

4.如权利要求1所述的数据实时处理系统，其特征在于，

所述人机界面模块，还用于根据用户的输入，产生系统运行状态的查询命令并提交至所述任务管理模块，所述系统运行状态包括以下至少之一：所述任务管理模块的后台状态、所述流式计算引擎的状态和所述任务的运行状态；

所述任务管理模块，还用于根据所述查询命令，获取系统运行状态信息，并将所述系统运行状态信息返回至所述人机界面模块；

所述人机界面模块，还用于显示所述系统运行状态信息。

5.如权利要求1所述的数据实时处理系统，其特征在于，所述任务管理模块，还用于对所述配置信息进行处理，并写入所述配置信息服务模块；

所述配置信息服务模块，用于存储处理后的所述配置信息。

6.如权利要求5所述的数据实时处理系统，其特征在于，

所述配置信息服务模块，还用于在更新所述配置信息时，生成通知信息，向所述流式计算引擎模块发送所述通知信息。

7.如权利要求5所述的数据实时处理系统，其特征在于，

所述任务的算子包括：输入算子、数据处理算子和输出算子；

所述输入算子，用于从数据源中获取数据；

所述数据处理算子，用于对获取的数据进行计算，生成待输出数据；

所述输出算子，用于将所述待输出数据按预设方式输出。