[发明专利]一种数据存储系统

说明书

本发明提出了一种数据存储系统，该数据存储系统包括：Hadoop集群，和设置在Hadoop集群中的组件、NFS服务器模块，其中，组件包括Map‑Reduce框架，并且Map‑Reduce框架用于执行Map‑Reduce流程，以及Map‑Reduce流程包括Map任务和Reduce任务，设置在NFS服务器模块中的磁盘阵列模块，并且通过磁盘阵列模块和NFS服务器模块构成共享存储设备，从而为Hadoop集群提供了存储，以及将各个Map任务的结果存储至共享存储设备，以去掉shuffle过程，从而优化了Map任务和Reduce任务的流程；以及组件将Hadoop集群中使用的文件切分为多个块，并且将每个块均发到不同的计算机节点，从而实现了负载均衡。本发明通过该数据存储系统，从而使得系统在性价比、可靠性、可维护、性能等方面均得到了较大改善。

技术领域

本发明涉及通信领域，具体来说，涉及一种数据存储系统。

背景技术

近些年，Hadoop开源大数据项目日益成熟，其给各个大数据应用行业带来了可行的解决方案，Hadoop集群的并行处理框架Map-Reduce对结构化和半结构化数据的处理均能够实现多台节点并行化，可以很大程度上提升数据分析处理的速度。

同时，Hadoop集群的默认存储采用自带的分布式文件系统HDFS，默认情况下，该HDFS采用三副本存储，但是，对于大数据应用来说，HDFS默认的多副本存储有几个缺陷：

大数据应用系统通常不仅仅只做大数据分析，还有很多其他类型的业务数据，因此HDFS很难满足各种应用场景的需求，尤其是小文件存储场景，因此分析时，需要经过一次数据导入，将数据导入到HDFS当中，造成了极大的不便；

HDFS的三副本的存储空间利用率为33.3％，对于大数据存储和分析来说，成本是相当昂贵的；

HDFS属于开源项目，文件系统的可靠性、可维护性等方面均存在较多问题，不适合存储生产环境中的关键数据。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种数据存储系统，通过磁盘阵列RAID和第二协议组合的方式，替代HHDFS三副本存储的方式，使得系统的可靠性、可维护等方面均得到了较大改善，从而解决了现有技术中分布式文件系统HDFS的成本、可靠性和易用性的问题。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据存储系统。

该数据存储系统包括：Hadoop集群，和设置在Hadoop集群中的组件、NFS服务器模块，其中，组件包括Map-Reduce框架，并且Map-Reduce框架用于执行Map-Reduce流程，以及Map-Reduce流程包括Map任务和Reduce任务，设置在NFS服务器模块中的磁盘阵列模块，并且通过磁盘阵列模块和NFS服务器模块构成共享存储设备，从而为Hadoop集群提供了存储，以及将各个Map任务的结果存储至共享存储设备，以去掉shuffle过程，从而优化了Map任务和Reduce任务的流程；以及组件将Hadoop集群中使用的文件切分为多个块，并且将每个块均发到不同的计算机节点，从而实现了负载均衡。

根据本发明的一个实施例，组件进一步包括：NFS共享存储模块、HDFS存储协议转换模块、Map-Reduce流程中的去Shuffle阶段模块、Map-Reduce任务调度模块。

根据本发明的一个实施例，磁盘阵列采用RAID5或RAID6的存储方式，并且将Hadoop集群中使用的文件切割为64MB的块。

本发明的有益技术效果在于：