[发明专利]关联分析方法、装置、设备及存储介质

说明书

本发明涉及数据分析技术领域，公开了一种关联分析方法、装置、设备及存储介质，该方法包括获取实时计算模型，根据实时计算模型生成中间文件；根据中间文件判断实时计算模型的模型类型；根据模型类型选取应用程序编程接口翻译中间文件中描述的复杂事件处理逻辑；根据复杂事件处理逻辑构建关联分析程序，根据关联分析程序生成结果表。由于本发明是根据实时计算模型生成中间文件，根据中间文件判断实时计算模型的类型并选取相应的应用编程接口翻译中间文件中描述的复杂事件处理逻辑，根据复杂事件逻辑构建关联分析程序完成关联分析，解决了现有技术中关联分析开发复杂且无法支持复杂语义的技术问题，实现了简单易用的关联分析。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种关联分析方法、装置、设备及存储介质。

背景技术

目前基于Flink进行关联分析的任务开发的方式主要有两种，第一种是通过编写Flink SQL来进行数据的处理，第二种是通过编写代码的方式来调用Flink DataStreamAPI的方式开发；而且只能支持next、FollowBy等CEP语义，无法支持复杂语义。

现有技术中Flink SQL编程方式的缺点：无法覆盖所有场景，譬如不支持基于计数的窗口操作；对于较复杂场景，开发过程也相对复杂。

Flink代码编程方式的缺点：需要手动打Jar包才能部署运行，内部处理逻辑不够直观，不易修改运维；需要编写代码，运营人员需要掌握Java/Scala/Python语言并熟悉Flink框架，门槛较高；随着版本的不断更新，Flink DataStream API也出现了很多不兼容的地方。

Flink原生CEP支持的语义有限：只支持基本的CEP语义，如next、followBy等，无法支持orFollowBy、notOccur等复杂语义；部分复杂语义的实现需要修改Calcite解析Pattern的方式。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种关联分析方法、装置、设备及存储介质，旨在解决现有技术中关联分析开发复杂且无法支持复杂语义的技术问题。

为实现上述目的，本发明提供了一种关联分析方法，所述方法包括以下步骤:

获取实时计算模型，并根据所述实时计算模型生成中间文件；

根据所述中间文件判断所述实时计算模型的模型类型；

根据所述模型类型选取对应的应用程序编程接口，以通过所述应用程序编程接口翻译所述中间文件中描述的复杂事件处理逻辑；

根据所述复杂事件处理逻辑构建关联分析程序，并根据所述关联分析程序生成结果表。

可选地，所述根据所述中间文件判断所述实时计算模型的模型类型，包括：

按照预设格式对所述中间文件进行解析，并根据解析的结果提取所述中间文件中的字段；

根据模型特征参数对所述字段进行校验，确定所述实时计算模型的模型类型。

可选地，所述根据模型特征参数对所述字段进行校验，确定所述实时计算模型的模型类型，包括：

根据模型特征参数对所述字段中描述的公共参数的合法性进行校验；

在公共参数的合法性校验通过时，根据模型特征参数对所述字段中描述的模板参数进行校验；

根据校验的结果确定所述实时计算模型的模型类型。

可选地，所述获取实时计算模型，并根据所述实时计算模型生成中间文件之前，所述方法还包括：

提供可视化窗口，所述可视化窗口包括针对不同的应用场景为用户提供的可编辑组件；