[发明专利]针对大数据分析的多hadoop分布式文件系统

说明书

本发明公开了针对大数据分析的多hadoop分布式文件系统，涉及信息技术行业数据库技术领域，在不改变用户环境下拥有的数个分散的原始HDFS文件存储系统的前提下，创立聚合节点HDFS文件存储系统，并且作为一个开放应用程序编程接口API供用户使用，在避免大量数据移动和不改变Hadoop组件源代码的前提下，保证了计算任务和数据的本地化，大幅提高系统性能，提供了按不同的逻辑视图重新聚合HDFS并保证计算任务性能的灵活性。

技术领域

本发明涉及信息技术行业数据库技术领域，尤其涉及针对大数据分析的多hadoop分布式文件系统。

背景技术

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

对于基于Hadoop的大数据分析系统，在计算任务和需处理数据之间保证数据的本地化对系统性能至关重要。实现上述目标依赖于Hadoop分布式文件系统(以下简称HDFS)命名节点提供的数据位置信息。

在实际的Hadoop部署实践中，尤其是企业级的Hadoop部署中，经常见到的情况是，不同的团队/部门拥有各自独立的Hadoop集群及文件系统。这就导致数据竖井的形成，进而导致用户如果想要实施跨文件系统的大数据分析任务，必须对分散在不同文件系统的数据进行统一迁移，或者改变Hadoop任务调度器来识别多个文件系统。

当HDFS和Hadoop计算节点被部署在同一个虚拟基础设施上的不同集群，例如私有云，用户可以在同一个HDFS上层部署多个Hadoop计算集群，上述问题更为明显。为了更好的利用资源，避免大量数据移动以取得更好的分析性能，允许用户部署跨多HDFS的Hadoop集群带来的好处显而易见。

发明内容

本发明的目的是提供针对大数据分析的多hadoop分布式文件系统，在避免大量数据移动和不改变Hadoop组件源代码的前提下，保证了计算任务和数据的本地化，大幅提高系统性能，提供了按不同的逻辑视图重新聚合HDFS并保证计算任务性能的灵活性。

为实现上述目的，本发明采用以下技术方案：

针对大数据分析的多hadoop分布式文件系统，包括以下步骤：

步骤1：用户环境下拥有数个分散的原始HDFS文件存储系统，所述原始HDFS文件存储系统被部署在数个分散的分布式服务器中，每一个所述原始HDFS文件存储系统中均存储有大量分级文件，每一个所述原始HDFS文件存储系统均使用一个唯一的HDFS文件位置信息作为根节点；

步骤2：创建HDFS聚合节点，所述创建HDFS聚合节点的步骤如下：

A.将所述分布式服务器进行归类，集中所有所述原始HDFS文件存储系统的所述根节点；

B.将所有所述根节点作为叶节点使用，并将所有叶节点聚合为一个开放应用程序编程接口API；

C.对所述开放应用程序编程接口API进行新的命名，并作为所述聚合节点使用；

D.将所述聚合节点部署在新的分布式服务器中，创立聚合节点HDFS文件存储系统；

步骤3：用户执行Map/Reduce任务调度器，从所述聚合节点HDFS文件存储系统中请求查询文件P的位置信息；

步骤4：所述聚合节点HDFS文件存储系统从所述叶节点中取得所述文件P位置信息，集中归纳并把整理完善的所述文件P位置信息的映射信息返回给所述Map/Reduce任务调度器；

步骤5：所述Map/Reduce任务调度器根据所述聚合节点HDFS文件存储系统返回的所述映射信息调度任务。