[发明专利]基于Storm的流计算即时处理系统

摘要

本发明公开了一种基于Storm的流计算即时处理系统，其包括四个部分，第一部分是数据接入该部分从前端业务系统获取数据；第二部分是最重要的Storm实时处理部分，数据从接入层接入，经过实时处理后传入数据落地层；第三部分为数据落地层，该部分指定了数据的落地方式；第四部分元数据管理器。通过对实际业务需求的调研以及算法的研究，形成满足实际业务的数据处理规则库，根据用户预定义的事件模型，实时高效地检测基本事件，直到组成事件模型的所有基本事件被检测到。本发明适用于处理对符合电网业务数据特征的数据流实时性要求极高的复杂分析计算，可达到加快数据分析速度、实时分析计算的目的。

主权项

一种基于Storm的流计算即时处理系统，其特征在于：包括四个部分，第一部分为数据接入层，数据接入该部分从前端业务系统获取数据，数据接入层：该部分有多种数据收集方式，包括使用消息队列MetaQ，直接通过网络Socket传输数据，前端业务系统专有数据采集API、对Log的定时监控，在数据接入层，应用动态实时数据捕获技术、增量数据捕获技术，结合数据捕获过程对生产终端影响降低方法，实现在尽可能降低生产终端影响的前提下，灵活捕获数据；第二部分为Storm实时处理层，数据从数据接入层接入，经过实时处理后传入数据落地层，Storm实时处理层：其中Nimbus负责资源分配和任务调度，Supervisor负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程，Worker在运行具体处理组件逻辑的进程，worker中每一个spout/bolt的线程称为一个task，具体业务需求：条件过滤、中间值计算、求topN、推荐系统、分布式RPC、热度统计，在Storm实时处理层，基于流计算引擎，实现按照预定义的规则对数据进行处理并形成计算结果；第三部分为数据落地层，该部分指定了数据的落地方式，数据落地层包括MetaQ、Mysql、HDFS和Lustre，MetaQ：部分数据在经过实时处理后写入MetaQ中，后端业务系统从MetaQ中获取数据，Mysql：作为数据落地的存储对象，适合中小量数据存储，HDFS：HDFS及基于Hadoop的分布式文件系统，用于基于HDFS搭建出来的日志分析系统与Storm的连接，Lustre：可为数据提供一个较大的数据目录，并用于数据归档保存，在数据落地层，结合基于SQL的数据实时查询技术以及数据展现控件技术，实现计算结果的多维度、形式丰富的展现，支撑高级电网业务应用，基于分布式存储技术对落地数据与计算结果进行存储；第四部分元数据管理器，其为系统的统一协调组件，用于指导前端业务系统的数据写入、通知实时处理部分数据类型及其他数据描述、指导数据落地。