[发明专利]重复数据删除的处理系统

权利要求书

1.一种重复数据删除的处理系统，将一输入文件通过一服务端与一客户端进行重复数据删除的处理，其特征在于，该重复数据删除的处理系统包括：

一客户端数据管理模块，于每一该客户端中设置该客户端数据管理模块，该客户端数据管理模块接收该输入文件，该客户端数据管理模块还包括：一数据切块模块、一指纹特征模块、一特征值查找模块，该数据切块模块用以将该输入文件进行一数据切分程序，并产生至少一数据区块；该指纹特征模块对该些数据区块进行一特征处理程序，并产生相应的一特征值；该特征值查找模块将每一该数据区块的该特征值与该客户端所储存的该些特征值进行比对，若该客户端中已存在相同的该特征值，则删除进行比对的该特征值相应的该数据区块，若该客户端中不存在相同的该特征值，则该客户端向该服务端发送一查询请求；以及

一服务端数据管理模块，通过网络连接于该客户端数据管理模块，该服务端数据管理模块还包括：一特征储存模块、一文件管理模块、一数据储存模块，该特征储存模块根据该查询请求判断该特征值是否已经记录于该服务端中，若该特征值不存在于该服务端中则向该客户端获取相应的该数据区块，并将新的该数据区块与该特征值储存于该服务端中；该文件管理模块用以将每一该输入文件的该些数据区块在该服务端的一储存地址记录至一索引文件中；该数据储存模块用以储存该些数据区块与该输入文件的一元数据。

2.根据权利要求1所述的重复数据删除的处理系统，其特征在于，该数据切分程序包括即定长切分、内容定义切分算法或滑动块切分。

3.根据权利要求1所述的重复数据删除的处理系统，其特征在于，该特征处理程序包括MD5、SHA1、SHA256或CRC32。

4.根据权利要求1所述的重复数据删除的处理系统，其特征在于，若该客户端中已存在相同的该特征值时，该特征值查找模块同时向该服务端发送一数据区块索引请求，该服务端更新该数据区块的一引用计数的数量，并且返回一数据区块结果，该数据区块结果包括该数据区块的后连续的多笔该特征值。

5.根据权利要求1所述的重复数据删除的处理系统，其特征在于，该客户端的该些特征值存储于一内存或一缓存中。

6.根据权利要求1所述的重复数据删除的处理系统，其特征在于，若该特征值已存在于该服务端中，则该特征储存模块将更新该数据区块的一引用计数的数量并且返回一数据区块结果，该数据区块结果包括该数据区块的后连续的多笔该特征值。

7.根据权利要求1所述的重复数据删除的处理系统，其特征在于，还包括一布隆过滤器，接收来自于该客户端的该特征值，该服务端通过该布隆过滤器判断所接收到的该数据区块是否已被修改过的该数据区块，并将判断结果输出至该特征储存模块。