[发明专利]分布式数据处理平台

摘要

本发明涉及一种分布式数据处理平台，包括存储层、计算层、查询接口与算法库，以及应用层；存储层包括分布式文件系统HDFS、HBase数据库系统和分布式索引系统ES；HBase搭建在HDFS之上，用于存储微博的标识与微博数据之间的对应关系；ES中建立有微博关键字段与微博标识之间的对应关系；应用层接收用户终端发送的处理指令，根据处理指令向查询接口与算法库发送对应的查询请求；查询接口与算法库根据查询请求从存储层中查询微博数据；计算层根据处理指令对查询到的微博数据进行处理，将处理结果反馈给应用层，从而通过HBase和ES的配合使用，提高了分布式数据处理平台的查询速度和分析效率，满足微博大数据的要求。

主权项

一种分布式数据处理平台，其特征在于，包括：存储层、计算层、查询接口与算法库，以及应用层；所述存储层，包括：分布式文件系统HDFS、HBase数据库系统和分布式索引系统ES；所述HBase数据库系统搭建在所述HDFS之上，用于存储微博的标识与微博数据之间的对应关系；所述分布式索引系统ES中建立有微博关键字段与微博标识之间的对应关系；所述应用层，用于接收用户终端发送的处理指令，根据所述处理指令向所述查询接口与算法库发送对应的查询请求，所述查询请求中携带微博的标识或微博关键字段；所述查询接口与算法库，用于根据所述查询请求从存储层中查询微博数据；所述计算层，用于根据所述处理指令对所述查询接口与算法库查询到的微博数据进行处理，得到处理结果，将所述处理结果反馈给所述应用层；所述应用层包括：微博搜索组件、统计分析组件、微博分类组件和事件检测组件；所述处理指令为微博搜索指令、统计分析指令、微博分类指令或者事件检测指令；所述微博搜索组件用于从用户终端接收所述微博搜索指令，根据所述微博搜索指令向所述查询接口与算法库发送对应的查询请求；所述统计分析组件用于从用户终端接收所述统计分析指令，根据所述统计分析指令向所述查询接口与算法库发送对应的查询请求；所述微博分类组件用于从用户终端接收所述微博分类指令，根据所述微博分类指令向所述查询接口与算法库发送对应的查询请求；所述事件检测组件用于从用户终端接收所述事件检测指令，根据所述事件检测指令向所述查询接口与算法库发送对应的查询请求；所述查询接口与算法库，包括：统一查询接口、Shark查询引擎和Mahout算法集合；所述统一查询接口用于从应用层的各组件中接收查询请求，根据所述查询请求调用Shark查询引擎从存储层中查询微博数据。