[发明专利]分布式存储方法及系统

说明书

一种分布式存储方法，应用于分布式存储系统中。所述方法包括步骤：拆分原文件成数据包，并存储到数据包队列，分配多个数据节点形成一个管道以传输所述数据包中的同一数据包；当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包；当管道中所有的数据节点被确认写入数据包后，对所述管道进行传输；及所述管道被传输至所述分布式文件系统的目的区域后，读取所述管道中的数据包，并解散所述管道，释放所述管道的数据节点。本发明还提供一种分布式存储系统。本发明可以提高分布式文件存储所需的数据传输速度。

技术领域

本发明涉及数据处理技术，尤其是涉及一种分布式存储方法及系统。

背景技术

随着网络大数据技术的高速发展，分布式文件系统得到了广泛的应用和发展。当前主流的分布式文件系统包括Google文件系统(GFS)，Hadoop分布式文件系统(HDFS)，文件系统(Lustre)，可扩展的高性能分布式文件系统(Ceph)等。这些分布式文件系统的架构和基本原理大致相同，主要由元数据节点、数据节点和客户节点组成。虽然分布式文件系统的传输速度是非常快速的，然而还是不能够适应日益增长的大数据的传输要求。所述分布式文件系统的传输速度主要体现为存储所需的传输速度，因此，一种快速和高效的存储传输方法或者系统是迫切需要的。

发明内容

鉴于以上内容，有必要提供一种分布式存储方法，可以提高分布式文件系统的数据存储所需的传输速度。

鉴于以上内容，还有必要提供一种分布式存储系统，用以提高分布式文件系统的数据存储所需的传输速度。

所述分布式存储方法包括步骤：拆分原文件成数据包，并存储到数据包队列。分配多个数据节点形成一个管道以传输所述数据包中的同一数据包。当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包。当管道中所有的数据节点被确认写入数据包后，对所述管道进行传输，及所述管道被传输至所述分布式文件系统的目标区域后，读取所述管道中的数据包，并解散所述管道，释放所述多个数据节点。

所述分布式存储系统包括：拆分模块，用于将原文件拆分成数据包。第一存储模块，用于存储所述数据包。数据节点管理器，用于分配多个数据节点形成一个管道以传输所述数据包中的同一数据包，当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包；传输模块，用于将所述多个数据节点均确认写入了数据包的管道传输至所述分布式文件系统的目标区域，将所述管道中的数据包读取出来，并解散所述管道，释放所述多个数据节点。

相较于现有技术，所述的分布式存储系统及分布式存储方法，在原有的分布式文件系统的架构上，增加数据节点管理器，将响应时长最短的数据节点依次分配给每一个管道做第一个数据节点以提高每一个管道的传输速度；并在前一个管道的第一个数据节点写入数据包并确认后形成另一个管道，保证存储传输的准确性；多管道并行传输，提高分布式存储的效率。因此，该分布式存储系统及分布式存储方法大幅度提升了现有的分布式文件系统的存储相关的文件数据的传输速度。

附图说明

图1是本发明较佳实施例之分布式存储系统的框架图。

图2是本发明较佳实施例之分布式存储系统的功能模块图。

图3是本发明较佳实施例之分布式存储系统的数据节点分配图。

图4是本发明较佳实施例之分布式存储系统的管道传输图。

图5是本发明较佳实施例之分布式存储方法的流程图。

主要元件符号说明