[发明专利]基于规则的流式数据处理方法统一监控平台

说明书

技术领域

本发明涉及分布式计算、流式计算、规则引擎技术领域，具体涉及一种基于规则的流式数据处理方法统一监控平台。

背景技术

近年来大数据已逐步成为最受关注的焦点，尤其大数据中的流式数据，由于其低延迟，高性能，高并发等特性，成为了越来越多企业所青睐的一项解决方案。但是由于数据的多样性和业务的复杂性，传统的流式处理框架的开发成本和变更成本非常巨大，已不能满足时下要求。

以公司复杂的业务统计需求为场景，在该场景下，业务需求复杂多变，并且经常需要对现有实时数据的部分异常或者部分关注类别进行单独监控，大多数据处理规则会随业务需求而反复变化。与此同时，数据的数量日益增大，原有Local模式的分析框架已经无法应对现有的数据量。基于传统的流式分析平台虽然能够进行分布式计算从而扩展性能，但是却无法解决业务上频繁变更所带来的巨大开发成本。

现有的技术方案里的规则引擎，如基于Java的规则引擎Drools，此类规则引擎支持的语言单一，并且无法满足现有分布式条件。此类规则引擎无法和流式结构很好的集合。

基于现有技术存在的问题，可以看出需要一个一站式的基于规则的分布式数据流处理平台。

发明内容

本发明提供的一种基于规则的流式数据处理方法统一监控平台，可以兼容多种语言，跨平台完成对于流式数据的规则匹配，规则引擎已经不再是单纯的规则解析者，同时也是规则上下文的管理者，它可以适应多类别的文件系统，根据分布式的特性，完成规则的编译和全局下发，解决了传统规则引擎的适应性窄的技术问题。

本发明采用的技术方案如下：

一种基于规则的流式数据处理方法，其特征在于，包括以下步骤：

步骤1，部署流式数据处理框架，进行流式数据处理；

步骤2，部署流式规则引擎，实时监控分布式文件系统，动态加载规则文件，编译规则模板，下发规则；

步骤3，部署动态编译组件，接收流式规则引擎下发指令，编译流式规则引擎下发的规则；

步骤4，配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；

步骤5，编写规则，并且下发到分布式规则池中。

进一步地，所述流式数据处理框架包括Spark、Flink或者Storm流式数据处理框架。

进一步地，流式规则引擎对规则文件进行管理，同时协调各类数据源完成对于规则的整个生命周期的管理。

进一步地，流式规则引擎对规则文件进行的管理包括监听、搜索、加载、传递和部署。

进一步地，所述规则模板基于原生编程语言，通过编译规则模板完成规则的创建。

进一步地，对基于规则产生的数据进行分流或者实时监控。

进一步地，对基于规则产生的数据通过配置引擎实时监控，监控的指标包括生命周期、调度策略。

一种基于规则的流式数据统一监控平台，包括流式规则引擎、配置引擎、动态编译组件和流式数据处理框架；用户编写规则，并且下发到分布式规则池中，流式规则引擎下发规则给动态编译组件；配置引擎通过动态加载配置文件，实现规则与输入输出的动态绑定以及规则与监控行为的配对；流式数据处理框架基于动态编译组件编译后的规则对数据流进行处理。

本发明的有益效果在于：

1、基于分布式的规则引擎架构，较传统规则引擎更高可用更易扩展。

2、提高了开发效率，无需再进行业务硬代码的反复迭代，能够灵活应对频繁变更的业务需求。

3、降低了学习成本，基于开发语言原生语法就可以制定规则，下发规则模板。

附图说明

图1是本发明流程示意图。

具体实施方式

本发明应用于任意需要使用流式处理框架的场景，在原有运行框架中加入规则引擎和动态编译组件，同时将所有数据流统一通过规则引擎进行匹配。内存中的规则同时需要一定的更新频率，以便新规则加入的时效性。

本发明面对数据量的爆炸，能够横向扩展来保证任务的完成效率；面对复杂的业务变更，能够通过规则匹配的方式降低开发成本，避免反复的版本变更而带来大量重复劳动；面对实时数据的监控需求，无需单独编写监控平台。本发明只需要在数据规则引擎中增加业务规则，在配置引擎中增加调度规则和输入输出规则，一次部署，多次添加。环境不改变的前提下，完成对于多种业务逻辑的应对。

下文中，结合附图和实施例对本发明作进一步阐述。

图1是本发明流程示意图，本发明一种基于规则的流式数据处理方法包括以下步骤：