[发明专利]一种基于无中心分布系统的全局重复数据删除系统及方法

权利要求书

1.一种基于无中心分布系统的全局重复数据删除系统，其特征在于：所述系统包括：

客户端重复数据删除模块（1），与客户端重复数据删除模块（1）实现数据相互传输的服务端全局重复数据删除模块（2），与服务端全局重复数据删除模块（2）实现数据相互传递的服务端多副本冗余模块（3）以及引用操作模块（4），以及由客户端发起对一个数据块进行读写操作的读写操作模块（5）。

2.根据权利要求1所述的一种基于无中心分布系统的全局重复数据删除系统，其特征在于：所述引用操作模块（4）由加引用操作模块和减引用操作模块组成。

3.根据权利要求2所述的一种基于无中心分布系统的全局重复数据删除系统，其特征在于：所述加引用操作模块由路由模块、全内存索引模块和冗余组模块组成；所述路由模块、全内存索引模块以及冗余组模块相互之间协同工作；所述路由模块的路由过程是首先通过给定的一个数据块的ID，然后把ID映射到一个存储服务器上；所述全内存索引模块主要是用以提高重复数据删除的速度；所述冗余组模块是互为复制品的一组服务器，用以提高数据安全性。

4.一种实现权利要求1中基于无中心分布系统的全局重复数据删除系统的方法，其特征在于：所述客户端重复数据删除方法包括以下步骤：

a）采用基于内容的变长数据分块算法对目标文件进行切块；

b）对已切块的数据进行强签名运算,得到摘要ID；

c）由客户端向服务器端发起对此摘要的引用请求，表示为:Ref(I D)；

d）由服务器端通过全局重复数据删除操作，返回两个确定的操作之一的结果，其一为引用成功，该ID全局引用计数器已加1，其二为引用失败，该I D全局范围内不存在；

e）再由客户端通过判断引用操作的结果，如果引用成功，则对该数据块的操作完成；如果引用失败，就向服务器端发送该数据块，然后再重复步骤a-e，直到所有数据块操作完成。

5.一种实现权利要求1中基于无中心分布系统的全局重复数据删除系统的方法，其特征在于：所述服务端多副本冗余模块是基于RAIN结构下的写操作，所述写操作方法包括以下步骤：

a）由服务器K端接收到一个对数据块ID的写操作请求，表示为Write(ID)；服务器K通过路由方法，f(ID)→N，算出数据块ID应由服务器N负责，并由此算出该ID的冗余组成员，假定冗余度为R=3，那么，三台服务器(N,N+1,N+2)成为一个冗余组被选定；

b）由服务器K同时转发写入请求Write(ID)到冗余组(N,N+1,N+2)每台服务器上；

c）由服务器K等待从冗余组（N，N+1，N+2）返回的操作结果；

d）若服务器K接收到任一台服务器的结果为：“失败”，立即把操作结果“失败”返回给客户端；

e）若服务器K接收到R=3个成功操作结果，把“操作成功”返回给客户端；

f）数据写入完成。

6.一种实现权利要求3中基于无中心分布系统的全局重复数据删除系统的方法，其特征在于：所述服务器端的全局冗余删除是通过对冗余组模块内成员进行“加引用”操作；所述“加引用”方法包括以下步骤：

a）通过服务器K端接收到一个对数据块I D的引用请求，表示为：Ref(ID)；

b）由服务器K通过路由方法，f(ID)→N，算出数据块ID应由服务器N负责，并由此算出该ID的冗余组成员，假定冗余度(Replication)为R=3，那么，三台服务器(N,N+1,N+2)成为一个冗余组被选定；

c）由服务器K同时转发引用请求Ref(ID)到冗余组(N,N+1,N+2)每台服务器上；

d）由服务器K等待从冗余组（N，N+1，N+2）返回的操作结果；

e）若服务器K接收到任一台服务器的结果为“不存在”，则立即将该结果返回给客户端；

f）若服务器K接收到R=3个成功操作结果，则将“操作成功”返回给客户端，否则，只要有其一失败，把失败结果返回给客户端，让其重试；

g)全局重复数据删除过程完成。