[发明专利]一种分布式大文件存储系统及文件上传和下载方法

说明书

本发明针对现有分布式文件存储系统在实际应用的存取效率低的问题公开了一种分布式文件系统中大文件数据存储、读取方法。系统中跟踪服务器、存储服务器采用树型网络结构自顶而下设计，即跟踪服务器通过网络多台存储服务器，并负责着客户端的访问。基于安全散列算法，对客户上传的大文件进行无压缩分片存储于不同的存储服务器中，用户下载或上传时，同时连接到多个存储服务器同时并行地下载或上传大文件的不同片段。本发明提出的分布式文件系统中大文件存储及读取方法能够加快客户端对于文件的访问速度，充分利用用户的网络带宽，并行上传和下载，提高了文件存取的效率。

技术领域

本发明涉及数据存储、读取、点对点网络通信和非对称加密技术领域，具体设计一种分布式大文件存储系统及大文件存储、读取方法。

背景技术

海量小文件存储(简称LOSF，lots of small files)出现后，就已经是业界的难题。而随着企业的迅速扩张与壮大，企业需要存储的档案资料、客户数据、宣传活动视频等也在爆炸式的增加，例如网上商城企业客户的购买记录、实时聊天软件的聊天记录及通信公司的客户通话记录等。目前，企业文件存储所面临的问题：一是企业所使用的文件存储方式是通过普通服务器搭建Window文件共享服务器，并没有专业的文件存储设备与存储软件，因此在网络带宽、存储容量、性能及空间的灵活分配等方面，很难满足企业务发展需要与大文件的存储需求，更无法实现企业数据信息的备份容灾。二是企业的所有所有数据存储都是部署在专业的IDC机房，各分支机构都是通过光纤专线与IDC机房建立VPN隧道，形成一张较大的企业内部私网。这样的架构会导致，在公司的分支机构不断增加的情况下，访问IDC机房的流量也在不断增长，而且现有的IDC机房网络总带宽有限，无法满足公司业务日益快速发展的需要。

结合上述两个现状，可以得出，目前企业存储大型文件面临的困境在于中心化的IDC机房网络总带宽的限制和没有专业的文件数据存储设备的原因。因此，本发明提出的一种分布式大文件存储系统，既可以有效解决带宽有限的问题，也可以减少企业在大文件存储方面的开支，仅需充分利用企业现有各个分支机构中不同地域的普通服务器。

发明内容

本发明提出了一种分布式大文件存储系统及文件上传、下载方法，能够用户提供大文件的分布式快速存储，提高文件传输的网络带宽利用率。

本发明提出了一种分布式大文件存储系统，该系统主要由跟踪服务器、分区管理服务器、存储服务器、客户端和移动设备APP组成，系统采用树型网络拓扑结构，其结构框图如图1所示。跟踪服务器运行大文件存储管理程序，接收用户上传和下载请求，同时通过分区管理服务器实时监控着存储服务器的存储空间与运行状态，负责大文件的分片存储操作，并根据提前设定的分片规则对大文件进行分片存储于不同存储服务器，并创建大文件分片存储的位置与片段哈希值的映射关系表；存储服务器根据不同的地域进行分组，主要提供存储服务，组内相互备份，并在每个组内增加分区管理服务器，用于管理组内存储服务器的相互备份、文件缓存等功能；客户端和移动设备APP端负责为用户提供文件的上传和下载操作，利用关系型数据库保存文件的相关特征描述和大文件分片存储位置与文件片段哈希值的映射表。

分布式大文件存储系统的大文件快速存储和下载，主要特点在于：

(1)文件分布式存储在不同地域的存储服务器端，用户上传或下载大型文件时，采取点对点通信，可以明显提高系统的总带宽的利用率；

(2)大文件分片存储于不同的存储服务器中，可以提高充分利用用户的网络带宽并行下载大文件的不同片段，提高文件的传输速度，而不局限于存储服务器的带宽限制，尤其当存储服务器访问用户数较大时造成的网络延迟问题；

(3)系统同时满足小文件和大文件的存储，并对大文件和小文件采取不同的存储策略，具有较高的存储灵活性；

(4)系统利用安全散列算法，创建包含文件名、文件哈希值与文件存储位置的映射关系表的文件存储目录，用于大文件的恢复下载。