[发明专利]针对大数据分析的多hadoop分布式文件系统

摘要

本发明公开了针对大数据分析的多hadoop分布式文件系统，涉及信息技术行业数据库技术领域，在不改变用户环境下拥有的数个分散的原始HDFS文件存储系统的前提下，创立聚合节点HDFS文件存储系统，并且作为一个开放应用程序编程接口API供用户使用，在避免大量数据移动和不改变Hadoop组件源代码的前提下，保证了计算任务和数据的本地化，大幅提高系统性能，提供了按不同的逻辑视图重新聚合HDFS并保证计算任务性能的灵活性。

主权项

针对大数据分析的多hadoop分布式文件系统，其特征在于：包括以下步骤：步骤1：用户环境下拥有数个分散的原始HDFS文件存储系统，所述原始HDFS文件存储系统被部署在数个分散的分布式服务器中，每一个所述原始HDFS文件存储系统中均存储有大量分级文件，每一个所述原始HDFS文件存储系统均使用一个唯一的HDFS文件位置信息作为根节点；步骤2：创建HDFS聚合节点，所述创建HDFS聚合节点的步骤如下：A.将所述分布式服务器进行归类，集中所有所述原始HDFS文件存储系统的所述根节点；B.将所有所述根节点作为叶节点使用，并将所有叶节点聚合为一个开放应用程序编程接口API；C.对所述开放应用程序编程接口API进行新的命名，并作为所述聚合节点使用；D.将所述聚合节点部署在新的分布式服务器中，创立聚合节点HDFS文件存储系统；步骤3：用户执行Map/Reduce任务调度器，从所述聚合节点HDFS文件存储系统中请求查询文件P的位置信息；步骤4：所述聚合节点HDFS文件存储系统从所述叶节点中取得所述文件P位置信息，集中归纳并把整理完善的所述文件P位置信息的映射信息返回给所述Map/Reduce任务调度器；步骤5：所述Map/Reduce任务调度器根据所述聚合节点HDFS文件存储系统返回的所述映射信息调度任务。