[发明专利]基于规则的流式数据处理方法统一监控平台在审
申请号: | 201711067201.3 | 申请日: | 2017-11-02 |
公开(公告)号: | CN107943482A | 公开(公告)日: | 2018-04-20 |
发明(设计)人: | 曲洋 | 申请(专利权)人: | 千寻位置网络有限公司 |
主分类号: | G06F8/41 | 分类号: | G06F8/41;G06F11/30;G06F17/30 |
代理公司: | 上海市海华永泰律师事务所31302 | 代理人: | 包文超 |
地址: | 200433 上海市杨浦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 规则 数据处理 方法 统一 监控 平台 | ||
1.一种基于规则的流式数据处理方法,其特征在于,包括以下步骤:
步骤1,部署流式数据处理框架,进行流式数据处理;
步骤2,部署流式规则引擎,实时监控分布式文件系统,动态加载规则文件,编译规则模板,下发规则;
步骤3,部署动态编译组件,接收流式规则引擎下发指令,编译流式规则引擎下发的规则;
步骤4,配置引擎通过动态加载配置文件,实现规则与输入输出的动态绑定以及规则与监控行为的配对;
步骤5,编写规则,并且下发到分布式规则池中。
2.如权利要求1所述的一种基于规则的流式数据处理方法,其特征在于,所述流式数据处理框架包括Spark、Flink或者Storm流式数据处理框架。
3.如权利要求1所述的一种基于规则的流式数据处理方法,其特征在于,流式规则引擎对规则文件进行管理,同时协调各类数据源完成对于规则的整个生命周期的管理。
4.如权利要求3所述的一种基于规则的流式数据处理方法,其特征在于,流式规则引擎对规则文件进行的管理包括监听、搜索、加载、传递和部署。
5.如权利要求1所述的一种基于规则的流式数据处理方法,其特征在于,所述规则模板基于原生编程语言,通过编译规则模板完成规则的创建。
6.如权利要求1所述的一种基于规则的流式数据处理方法,其特征在于,对基于规则产生的数据进行分流或者实时监控。
7.如权利要求6所述的一种基于规则的流式数据处理方法,其特征在于,对基于规则产生的数据通过配置引擎实时监控,监控的指标包括生命周期、调度策略。
8.一种基于规则的流式数据统一监控平台,其特征在于,包括流式规则引擎、配置引擎、动态编译组件和流式数据处理框架;用户编写规则,并且下发到分布式规则池中,流式规则引擎下发规则给动态编译组件;配置引擎通过动态加载配置文件,实现规则与输入输出的动态绑定以及规则与监控行为的配对;流式数据处理框架基于动态编译组件编译后的规则对数据流进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于千寻位置网络有限公司,未经千寻位置网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711067201.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种商城后台管理系统
- 下一篇:一种iOS中数据正向解析方法