[发明专利]数据分块上传与存储系统及方法

说明书

技术领域

本发明涉及一种云端技术，尤其涉及一种通过云端技术将数据分块上传与存储的系统及方法。

背景技术

在云存储过程中，经常会遇到多个用户同时上传完全相同或者部份相同的文件，这会占用多余的服务器与用户的传输带宽，消耗服务器过多的传输资源，并且使用户占用服务器传输进程时间过长。

发明内容

鉴于以上内容，有必要提供一种数据分块上传与存储系统，其可有效地减少服务器与用户的传输带宽消耗，使数据传输更有效率，节约了网络资源。

所述数据分块上传与存储系统，运行于一台块传输分配器中，该块传输分配器通过网络连接多个客户端和一台存储服务器。该系统包括：接收模块，用于接收所述多个客户端同时上传的文件信息和文件的哈希列表，存储到哈希数据库中，每个文件对应一张哈希列表，所述哈希列表中记录了文件的多个数据块的名称、各数据块的哈希值及数据块的分割顺序；设置模块，用于设置各客户端中数据块的上传顺序；判断模块，用于判断所述哈希数据库中是否有与待传输数据块的哈希值相同的哈希值，且该相同的哈希值对应的数据块正在传输或已经传输完毕；去重模块，用于当有哈希值相同的数据块正在传输或已经传输完毕时，判定该数据块为重复数据块，跳过该重复数据块，确定上传顺序中的下一个数据块为该客户端的待传输数据块；及上传模块，用于当哈希数据库中没有与待传输数据块的哈希值相同的哈希值，或者该哈希数据库中有与待传输数据块的哈希值相同的哈希值但该相同的哈希值对应的数据块未正在传输或未已经传输完毕时，通知用户将该待传输数据块上传至所述存储服务器的存储区中，该存储区内有多个数据区域。

还有必要提供一种数据分块上传与存储方法，其可有效地减少服务器与用户的传输带宽消耗，使数据传输更有效率，节约了网络资源。

所述数据分块上传与存储方法，应用于一台块传输分配器中，该块传输分配器通过网络连接多个客户端和一台存储服务器。所述方法包括：接收步骤，接收所述多个客户端同时上传的文件信息和文件的哈希列表，存储到哈希数据库中，每个文件对应一张哈希列表，所述哈希列表中记录了文件的多个数据块的名称、各数据块的哈希值及数据块的分割顺序；设置步骤，设置各客户端中数据块的上传顺序；判断步骤，判断所述哈希数据库中是否有与待传输数据块的哈希值相同的哈希值，且该相同的哈希值对应的数据块正在传输或已经传输完毕；去重步骤，当有哈希值相同的数据块正在传输或已经传输完毕时，判定该数据块为重复数据块，跳过该重复数据块，确定上传顺序中的下一个数据块为该客户端的待传输数据块，流程返回至判断步骤；及上传步骤，当哈希数据库中没有与待传输数据块的哈希值相同的哈希值，或者该哈希数据库中有与待传输数据块的哈希值相同的哈希值但该相同的哈希值对应的数据块未正在传输或未已经传输完毕时，通知用户将该待传输数据块上传至所述存储服务器的存储区中，该存储区内有多个数据区域。

相较于现有技术，所述数据分块上传与存储系统及方法，通过在服务器集群中加入一个分配器，使服务器在并发传输中可以择优计算各用户文件的分块信息，以使得多个用户在文件的传输过程中分别上传不同的文件块，服务器从而不会接收重复数据块。

附图说明

图1是本发明数据分块上传与存储系统较佳实施例的运行环境示意图。

图2是图1中块传输分配器的主要组成示意图。

图3是本发明数据分块上传与存储方法较佳实施例的作业流程图。

图4举例说明多个客户端向存储服务器上传重复数据块的示意图。

图5是本发明用户于客户端读取存储服务器中文件的作业流程图。

主要元件符号说明