[发明专利]重复数据删除的处理系统

说明书

技术领域

本发明涉及一种文件储存系统，特别涉及一种重复数据删除的处理系统。

背景技术

重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份系统，主要目的在于减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。由于存储系统中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使存储系统上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。请参考1图所示，其为现有技术的重复数据删除的存取的示意图。

由于欲存储的数据数据都会被储存在服务端中，因此客户端需要实时的将数据传送至服务端。接着，服务端再对数据进行重复数据删除的处理。如果在具有多客户端的架构下，服务端必然需要面临高压的负载。

发明内容

鉴于以上的问题，本发明的目的在于提供一种重复数据删除的处理系统，将输入文件通过服务端与客户端进行重复数据删除的处理。

为了达到上述目的，本发明揭露一种重复数据删除的处理系统包括：客户端数据管理模块与服务端数据管理模块。于每一客户端中设置客户端数据管理模块，客户端数据管理模块接收输入文件，客户端数据管理模块还包括数据切块模块、指纹特征模块与特征值查找模块。数据切块模块(Data Chunking module)用以将输入文件进行数据切分程序，并产生至少一数据区块；指纹特征模块(Fingerprinting module)对数据区块进行特征处理程序，并产生相应的特征值；将每一数据区块的特征值与客户端所储存的特征值进行比对，若客户端中已存在相同的特征值，则删除进行比对的特征值相应的数据区块，若客户端中不存在相同的特征值，则客户端向服务端发送查询请求；服务端数据管理模块通过网络连接于客户端数据管理模块，服务端数据管理模块还包括：特征储存模块、文件管理模块与数据储存模块。特征储存模块根据查询请求判断特征值是否已经记录于服务端中，若特征值不存在于服务端中则向客户端获取相应的数据区块，并将新的数据区块与特征值储存于服务端中；文件管理模块用以将每输入文件的数据区块在服务端的储存地址记录至索引文件中；数据储存模块用以储存数据区块与输入文件的元数据(meta-data)。

上所述的重复数据删除的处理系统，其中，该数据切分程序包括即定长切分(fixed-size partition)、内容定义切分算法(content-defined chunking)或滑动块切分(sliding block)。

本发明将所有数据区块的存储、元数据的描述信息、及特征值的存储和管理都在服务端实现。而对输入文件的数据切分、计算特征值等动作则是由客户端实现。然后通过网络在服务端和客户端间交互这些信息，客户端处理数据时先把计算的特征值发给服务端，如果该数据已存在则只需要更新数据块位置引用信息，不用在网络上发送数据块本身，如果不存在再把数据发给服务端。这样即节省了服务端的存储空间，也降低了网络带宽的需求。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为现有技术的重复数据删除的存取的示意图；

图2为本发明的架构示意图；

图3为本发明的运作流程图。

其中，附图标记

客户端210

客户端数据管理模块211

数据切块模块212

指纹特征模块213

特征值查找模块214

服务端220

服务端数据管理模块221

特征储存模块222

文件管理模块223

数据储存模块224

布隆过滤器225

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

本发明应用于具有处理重复数据删除程序的计算器，例如：个人计算机、笔记型计算机、服务端或应用在客户端与服务端架构中。重复数据删除的处理系统包括至少一个客户端210与服务端。请分别参考图2与图3所示，其分别为本发明的架构示意图与运作流程图。客户端210可以通过因特网(Internet)或内网(intranet)连接至服务端。为能更进一步说明本发明的各模块的运作，请配合图3的运作解说。本发明的重复数据删除的处理包括以下步骤：