[发明专利]基于zookeeper技术的数据分析方法及系统

摘要

本发明揭示了基于zookeeper技术的数据分析方法及系统，确定主调度器和主生产者，各消费者向zookeeper注册节点信息及所在的消费者群组，并为其所在的消费者群组创建一个队列以及通知主调度器；主调度器控制主生产者将下载的待处理数据写入相应消费者本机以及将数据的本地存储路径注册到相应的队列里；主调度器通知各消费者进行数据处理；消费者获取数据进行处理，生成结构化/半结构化数据，导入到 Hadoop 集群中；通过hive工具离线分析，并将分析结果集插入到关系型数据库以及solr搜索引擎中。本发明可以利用Hadoop 系统进行数据分析而避免了繁杂的对关系型数据库的分表、拆表、合并等操作，简化了数据分析流程，又提供了更为方便地对任务进行调度、管理的系统。

主权项

基于zookeeper技术的数据分析方法，其特征在于：包括如下步骤：S1，所有调度器、生产者向zookeeper注册自身节点信息并启动，选举出主调度器、主生产者，各消费者向zookeeper注册自身节点信息及其所在的消费者群组，并为其所在的消费者群组创建一个队列以及通知主调度器；S2，主调度器根据各消费者汇报的队列，控制主生产者根据配置策略，将从已存在待处理数据的配置位置下载的待处理数据分别写入各消费者群组中的相应消费者本机，以及将待处理数据的本地存储路径注册到相应消费者对应的队列里；S3，主调度器通知各消费者群组中的消费者进行待处理数据处理；S4，各消费者按照指定原则获取待处理数据，进行解析、格式化处理，生成结构化/半结构化数据，并导入到Hadoop集群中；S5，通过hive工具根据业务场景离线分析S4步骤中生成的结构化/半结构化数据，并将分析结果集插入到关系型数据库以及solr搜索引擎中。