[发明专利]一种基于Flink的数据流多向处理系统

权利要求书

1.一种基于Flink的数据流多向处理系统，其特征在于，包括数据缓存模块、数据多向处理模块和数据存储模块；

所述数据缓存模块用于缓存从不同的源收集的数据，并转发给数据多向处理模块；所述数据多向处理模块用于接收来自数据缓存模块的数据，根据多业务需求把日志流进行多纬度处理分析，再把对应的日志流发送给其对应的数据存储模块。

2.如权利要求1所述的系统，其特征在于，所述数据缓存模块采用Apache Kafka实现。

3.如权利要求1所述的系统，其特征在于，所述数据多向处理模块中使用flink-kafka连接器对Kafka的流数据进行消费处理，在flink中进行数据多层次，多流向的处理。

4.如权利要求3所述的系统，其特征在于，所述数据多向处理模块具体采用如下过程对Kafka的流数据进行消费处理：

初始化消费者：由连接器创建kafka的消费者，此处只创建一个消费者，以接收缓存在kafka的数据；

筛选并转换：创建过滤器，对数据源进行过滤，去除非法数据；创建转换器，对多种业务需求进行数据统一化格式转换处理；

多向处理：对同一个数据按照多种不同的处理方式进行处理，并行经过多种不同的业务逻辑，实现单消费者对数据的多方位分析：

第一种业务处理流程，实现峰值和热词的统计收集：

创建统计函数，使用key计数，创建业务需求的自定义计数逻辑，实现对数据峰值、热词计数，排序；

创建存储函数，实现对相应结果记录存储；

第二种业务处理流程，实现数据重点信息收集和存储：

创建必要的数据转换器，实现对数据特征的提取处理、加工，实现数据的泛化，保留各方面数据中相同或一定程度上相似的特征；

创建过滤业务，去除数据中一定程度上发散或重复的数据；

存储第二种业务处理流程产生的泛化数据。

5.如权利要求1所述的系统，其特征在于，所述数据存储模块采取对EsSink存储时的异常处理流程：

检查Kafka业务流程，是否选择保留数据；

保存文件时处理错误数据。