[发明专利]一种数据实时处理系统及数据实时处理方法

说明书

本发明提供一种数据实时处理系统及数据实时处理方法，包括：人机界面模块、任务管理模块和流式计算引擎模块；所述人机界面模块，用于显示用户界面并接收用户的输入，根据用户的输入，生成任务的定义并提交至所述任务管理模块，所述任务的定义包括：所述任务中的算子和所述任务中的算子与算子之间的连接关系；所述任务管理模块，与所述人机界面模块连接，用于根据所述任务的定义，构建任务，并将构建的任务提交至所述流式计算引擎模块；所述流式计算引擎模块，与所述任务管理模块连接，用于运行所述任务。数据实时处理系统的智能化程度高，能够提高数据实时处理系统的使用便利性。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据实时处理系统及数据实时处理方法。

背景技术

随着数据的急剧膨胀，大数据处理技术得到了飞速的发展。目前，大数据处理平台按照计算模式可以划分为离线计算和实时计算。随着经济社会信息实时化的程度不断提高，人们对数据实时计算的需求也越来越高。例如：用于反欺诈、判断资金是否流入非法途径的风险控制系统(风控系统、合规检查等)、用于数据抽取、转换、加载(ExtractTransform Load，简称ETL)的数据处理系统等场景需要用到实时计算。

然而，现有的实时计算系统，对使用者要求很高，需要大量定制化的逻辑，用户使用时便利性不高。

发明内容

有鉴于此，本发明提供一种数据实时处理系统及数据实时处理方法，用于解决现有的数据实时处理系统使用便利性不高的问题。

为解决上述技术问题，第一方面，本发明提供一种数据实时处理系统，包括：人机界面模块、任务管理模块和流式计算引擎模块；

所述人机界面模块，用于显示用户界面并接收用户的输入，根据用户的输入，生成任务的定义并提交至所述任务管理模块，所述任务的定义包括：所述任务中的算子和所述任务中的算子与算子之间的连接关系；

所述任务管理模块，与所述人机界面模块连接，用于根据所述任务的定义，构建任务，并将构建的任务提交至所述流式计算引擎模块；

所述流式计算引擎模块，与所述任务管理模块连接，用于运行所述任务。

优选的，所述用户界面为图形化界面或者命令行界面。

优选的，所述人机界面模块，还用于根据用户的输入，产生所述任务的操作命令并提交至所述任务管理模块，所述任务的操作命令包括以下至少之一：提交任务、暂停任务和停止任务；

所述任务管理模块，还用于根据所述任务的操作命令，生成所述任务的相关操作指示，向所述流式计算引擎模块发送所述任务的相关操作指示；

所述流式计算引擎模块，还用于根据所述任务的相关操作指示，执行所述任务的相关操作。

优选的，所述人机界面模块，还用于根据用户的输入，产生系统运行状态的查询命令并提交至所述任务管理模块，所述系统运行状态包括以下至少之一：所述任务管理模块的后台状态、所述流式计算引擎的状态和所述任务的运行状态；

所述任务管理模块，还用于根据所述查询命令，获取系统运行状态信息，并将所述系统运行状态信息返回至所述人机界面模块；

所述人机界面模块，还用于显示所述系统运行状态信息。

优选的，所述数据实时处理系统还包括：

配置信息服务模块，与所述任务管理模块和所述流式计算引擎模块连接；

其中，所述人机界面模块，还用于根据用户的输入，生成配置信息并提交至所述任务管理模块；所述配置信息包括：配置管理策略和配置数据，所述配置数据包括以下至少之一：所述任务的配置数据和所述任务中的算子的配置数据；