[发明专利]一种基于Flink的数据流多向处理系统

说明书

本发明涉及一种基于Flink的数据流多向处理系统，涉及数据实时处理技术领域。本发明给出了一种基于Kafka/Flink/Elasticsearch的单消费者处理多业务的数据流处理系统，能够实时高效准确地处理大规模的数据。利用Kafka的高扩展性和高可靠性，可将多个数据源的数据准确地收集汇总，并且易于新增扩展；Kafka可进行持久化操作，将消息持久化到磁盘，极大地减少了数据丢失的概率。与Flink的高效组合，分布式可升级为多消费多向处理业务数据的形式，极大地扩展了flink作为消费者的数据处理能力，同时也保证了计算并存储的快速性。这一种基于flink单消费者数据流处理系统，既在单节点上有出色的表现，也能在分布式呈现惊人的分析效率，扩大了传统算法分向处理、分析范围和快速存储的整体能力。

技术领域

本发明涉及数据实时处理技术领域，具体涉及一种基于Flink的数据流多向处理系统。

背景技术

随着云时代的来临，大数据也吸引了越来越多的关注。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Flink是一个针对流数据和批数据的分布式处理引擎。ElasticSearch是一个基于Lucene的搜索服务器，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，使用方便。

云计算时代数据呈现出爆炸性增长的态势，各类系统都会产生大量日志，日志数据的规模GB数量级跃升到TB甚至PB这样的数量级。面对海量的日志，传统的日志处理系统框架已经无法满足目前的需求。同时系统业务对日志、业务数据等处理的实时性需求也逐渐提高。传统的流数据处理框架其吞吐量和容错性存在先天的缺陷，不再适用于目前类似于互联网这类行业的高速扩展的业务需求。因此对于流式数据的处理，以及多业务需求中快速存储的问题，需要设计一种数据流处理系统，准确并且实时地计算和处理相关业务数据，加速系统的运算能力。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种数据流处理系统，准确并且实时地计算和处理相关业务数据，加速系统的运算能力。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于Flink的数据流多向处理系统，包括数据缓存模块、数据多向处理模块和数据存储模块；

所述数据缓存模块用于缓存从不同的源收集的数据，并转发给数据多向处理模块；所述数据多向处理模块用于接收来自数据缓存模块的数据，根据多业务需求把日志流进行多纬度处理分析，再把对应的日志流发送给其对应的数据存储模块。

优选地，所述数据缓存模块采用Apache Kafka实现。

优选地，所述数据多向处理模块中使用flink-kafka连接器对Kafka的流数据进行消费处理，在flink中进行数据多层次，多流向的处理。

优选地，所述数据多向处理模块具体采用如下过程对Kafka的流数据进行消费处理：

初始化消费者：由连接器创建kafka的消费者，此处只创建一个消费者，以接收缓存在kafka的数据；

筛选并转换：创建过滤器，对数据源进行过滤，去除非法数据；创建转换器，对多种业务需求进行数据统一化格式转换处理；

多向处理：对同一个数据按照多种不同的处理方式进行处理，并行经过多种不同的业务逻辑，实现单消费者对数据的多方位分析：

第一种业务处理流程，实现峰值和热词的统计收集：