[发明专利]一种基于大数据运营分析的数据处理方法

摘要

本发明涉及一种基于大数据运营分析的数据处理方法包括：步骤一采集源数据信息：通过规则引擎读取数据信息，启动Flume系统进行数据采集；步骤二数据分类；步骤三：清洗数据：利用Flume的各个Agent根据规则引擎中的清洗规则进行数据清洗；步骤四对清洗后的数据分类：为实时计算数据还是非实时计算数据；步骤五在上述步骤三中的HDFS目录根据预将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据并把最终处理结果保存到结果集中；步骤六：根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中。本方法充分利用Flume系统的本身优势并结合Kafka、HDFS等工具，实现对运营平台的数据分析配置。

主权项

一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员，其特征在于：包括以下步骤：步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集；步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中；步骤三：清洗数据：Flume系统的各个Agent根据配置文件启动并进行数据采集；在采集过程中，Agent根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗；步骤四：对清洗后的数据分类：对在步骤三中清洗好的数据判断数据类型为实时计算数据还是非实时计算数据；如果为实时计算数据，将清洗好的数据导入Kafka系统中进行分析消费，如果为非实时数据将清洗好的数据导入到Hdfs里创建好的文件目录中；步骤五：在上述步骤三中的HDFS目录根据预设的建表规则建立Hive外部表；将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据，并把最终处理结果保存到结果集中；步骤六：在上述步骤四中的Kafka系统中，根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中；步骤七：将所述结果集中的数据发送到门户网站、大屏；展示出的形式为：用户可配置页面展示样式或/和图标样式。