[发明专利]一种数据分析引擎系统、实现方法、设备及存储介质

说明书

本申请涉及一种数据分析引擎系统、实现方法、设备及存储介质，该系统包括：需求确定模块，用于确定当前业务所需的目标节点，目标节点至少包括目标数据处理节点和目标数据分析节点；业务流程生成模块，用于根据当前业务所需的目标数据处理节点和目标数据分析节点，从预设的组件库获取对应的目标组件，生成当前业务的流式业务处理流程；分析模块，用于获取当前业务数据，并接入至流式业务处理流程进行数据处理和实时分析，得到目标分析结果。本申请能够将数据的处理和分析达到同步，而且实现实时计算、实时分析的效果，解决了传统分析上存在的数据差异性或实时性缺点。

技术领域

本申请涉及数据处理分析技术领域，尤其是涉及一种数据分析引擎系统、实现方法、设备及存储介质。

背景技术

在数据处理分析领域，传统商业智能系统通常分为两步：第一步数据处理：由技术人员根据需求进行复杂的数据建模，然后通过etl工具生成中间表；第二步数据分析：由业务人员通过拖拉拽的方式进行数据分析，BI工具将分析定义转换成sql语言；然后通过sql引擎(传统的关系型数据库，或者类sql的分析引擎，例如hive、Impala等)进行分析计算；但是带来两个问题：1、架构复杂，数据处理和数据分析计算至少依赖两套引擎；2、业务人员不能做到对原始数据的一站式即席分析。

此外，传统的数据分析引擎将数据通过etl工具将业务系统数据抽取到中间表，可能抽取到中间表的数据为统计数据和经过一些etl内部处理后的数据，然后第二步通过数据分析引擎在这些中间表里面建立自己业务分析，这种常规的数据分析往往存在很大的数据差异性，因为中间表的数据都是通过etl工具抽取过来的，并不是即实数据，达不到预想的需求。

发明内容

有鉴于此，本申请提供一种数据分析引擎系统、实现方法、设备及存储介质，用以解决现有数据处理分析引擎存在数据差异性或实时性缺陷的技术问题。

为了解决上述问题，第一方面，本申请提供一种数据分析引擎系统，所述系统包括：

需求确定模块，用于确定当前业务所需的目标节点，所述目标节点至少包括目标数据处理节点和目标数据分析节点；

业务流程生成模块，用于根据所述当前业务所需的目标数据处理节点和目标数据分析节点，从预设的组件库获取对应的目标组件，生成当前业务的流式业务处理流程；

分析模块，用于获取当前业务数据，并接入至所述流式业务处理流程进行数据处理和实时分析，得到目标分析结果。

可选的，所述目标节点还包括目标读取节点和/或目标预处理节点。

可选的，所述业务流程生成模块，包括：

拖拽单元，用于从所述组件库中自定义拖拽目标组件，生成目标节点，以得到当前业务的流式业务处理流程。

可选的，所述系统还包括：

组件模块，用于提供多种流式计算组件，形成组件库。

可选的，所述组件模块，包括：

算法单元，用于提供多种机器学习算法组件，以供自定义生成目标数据处理节点；

分析单元，用于提供多种数据分析组件，以供自定义生成目标数据分析节点。

可选的，所述组件模块，还包括：

数据读取单元，用于提供读取组件，以供自定义生成目标读取节点，

预处理单元，用于提供多种预处理算法组件，以供自定义生成目标预处理节点。

第二方面，本申请提供一种基于所述的数据分析引擎系统的实现方法，包括：

确定当前业务所需的目标节点，所述目标节点至少包括目标数据处理节点和目标数据分析节点；