[发明专利]分布式数据中心数据冗余消除方法

说明书

技术领域

本发明属于网络体系结构技术领域，特别涉及一种分布式数据中心数据冗余消除方法。

背景技术

近年来，随着信息技术和网络技术的发展，云存储、云计算以及搜索引擎等新技术迅速发展，作为“云”基础的数据中心网络迅速发展，数据中心网络的规模越来越大，这就给数据中心网络的组织带来了极大的挑战，由于数据中心网络要求高可靠性，因此在数据中心网络中，采用冗余备份的方法来保证数据中心的高可靠性是非常见的，这些冗余备份对于可靠性而言是必要的，但也造成很多传输的数据的冗余(相同的数据在网络中多次传输)，这些冗余是不必要的；另一方面，随着“云”提供的服务越来越多样化，一些服务比其他服务在特定的时间内更受欢迎，这就造成这些应用的数据在这段时间内传输比其他服务更加多，这种受欢迎程度的不同造成了相同(或者相似)的数据在数据中心网络中重复传输，即数据中心传输数据冗余，同时冗余程度也随着这些应用的受欢迎程度的不同而有所差别。

目前，针对网络中冗余数据的消除机制研究已经广泛开展，在较早的研究中，消除网络冗余数据通过网络缓存、代理服务器的方式，将在网络中已经传输的数据(这个文件)在离目的节点较近的设备上缓存下来，在相同的数据请求达到的时候，代理服务器将缓存的数据发送到请求服务器，从而达到降低网络流量的目的；spring等人在2000年提出了协议无关冗余消除机制(protocol-independent RE)，通过这种方法，在网络中传输的数据间的冗余在更小的粒度(数据包层面或者数据块层面)被发现和消除，从而达到更好的冗余消除的效果；此后，更多的冗余消除机制被提出来，A.Muthitacharoen和S.Annapureddy等人研究了给予内容的命名机制；Anand等人提出了将冗余消除作为IP层的一种服务的冗余消除机制和协调缓存的冗余消除机制SmartRE；B.Aggarwall等人提出了端系统(End-system)冗余消除机制。

现有的冗余消除机制应用到数据中心网络中至少存在以下不足：

1)现有的冗余消除机制都是集中式的冗余消除机制。由于数据中心的规模非常大，在数据中心网络中，服务器数量常常是几千甚至几万数量级。尽管集中式的冗余消除机制一定程度上也可以部署到数据中心网络中，部署集中式的冗余消除机制必然导致较高的延迟，这对于那些对延迟要求高的数据中心(比如搜索引擎等)来说是不可接受的。

2)现有的冗余消除机制忽略了数据间冗余程度的差别。现有的冗余消除机制要么没有从全网的角度对数据缓存进行调度，使得不同的冗余度的数据缓存到不同的网络“最佳”中间节点中，要么只是将数据随机缓存到中间节点，这些缓存位置选择的机制都没有充分利用数据冗余程度的差别的特点来达到更佳的缓存效果。

3)现有的冗余消除机制没有充分利用数据中心网络的特点。数据中心网络的一个最突出的特点是在数据中心网络中，所有的设备(服务器和中间节点)都部署在一个相对比较小的空间中，这个特点使得数据中心网络可以充分无线广播技术来实现信息的快速扩散。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种分布式数据中心数据冗余消除方法，充分利用数据中心网络特点，使得数据中心网络可以充分无线广播技术来实现信息的快速扩散。

为了实现上述目的，本发明采用的技术方案是：

分布式数据中心数据冗余消除方法，源服务器将数据通过中间节点发送至目标服务器，在所述中间节点增加缓存，传输数据时中间节点缓存已经传输的数据并将自身的缓存信息通知源服务器，从而在源服务器发送数据时，通过判断，如果在传输路径中该数据已经缓存，则通过发送压缩形式的数据到缓存该数据的中间节点，该中间节点将压缩形式的数据进行解码还原成原始数据并转发到目标服务器，完成传输。

在所述中间节点、源服务器以及目标服务器上都设置有无线网卡，以实现缓存信息共享，中间节点通过无线网卡广播其缓存信息，每个服务器维护一个缓存，当服务器接收到来自中间节点广播的缓存信息时，服务器将这些信息记录在缓存中。

所述广播采用轮训的方式，中间节点按照一定的顺序进行编号，当其中一个中间节点结束广播时，下一个中间节点紧接着进行广播它的缓存信息，广播时，每个中间节点广播时间相同，都为一个单位时间T。