[发明专利]数据系统中的接收器侧数据重复删除

说明书

技术领域

本申请涉及数据处理，并且更具体而言涉及数据重复删除。

背景技术

在许多数据系统中，广义上说，发送器(数据源)通过通信信道将数据上载到接收器(数据处理器)。这种系统的例子是数据存储系统；但是，这些数据系统可包含接收器以某种方式处理从发送器上载的数据的任何系统。上载和处理的数据可包含但不限于任何类型的文本、图形或图像数据、音频数据(例如，音乐和声音数据)、视频数据和压缩和/或加密数据等。在许多这种系统中，可能需要通过通信信道从发送器向接收器上载大量的数据。但是，通信信道一般具有宽带限制，而这种数据系统的目标是，得到跨通信信道到接收器的尽可能多的可用数据。

数据重复删除指的是用于减少或消除这种系统中的冗余数据，以例如提高数据存储系统中的存储利用并且/或者减少通信信道上的带宽使用的技术。作为例子，在应用于数据存储系统的至少一些数据重复删除技术中，可以防止复制数据存储到数据存储。为了实现这一点，已驻留于数据存储中的数据的单位和/或没有驻留于数据存储中的数据的单位可被标识，并且，只有没有驻留于数据存储中的单位在数据存储中被存储或者被更新。本申请中的数据重复删除可由此减少需要的存储容量，原因是数据的特定的单位的更少或者仅仅一个副本被保持。

一种用于数据系统中的数据重复删除的技术是使发送器在接收器处上载要被处理(例如，存储于数据存储系统中)的所有数据，并且使接收器标识要被处理的数据的单位。但是，该技术不减少发送器与接收器之间的带宽使用。

可减少带宽使用的数据重复删除的常规技术是使发送器标识要被上载到接收器的数据的单位；只有标识的数据的单位从发送器被上载到接收器。图1示出发送器(数据源)标识数据的单位并将其上载到接收器(例如，数据存储系统)的常规的重复删除技术。在该常规的重复删除技术中，发送器20维持数据22和本地存储的指纹24。本地存储的指纹24可唯一地标识已被上载到数据存储12的数据22的单位。指纹24可例如是数据22的单位的散列。在基于块的数据系统(例如，块存储系统)中，数据的单位可以例如为数据块的256k字节部分、数据块的1024k字节部分或数据块的一些其它的固定或可变尺寸部分。在基于文件的系统中，数据的单位可以是文件或文件的与基于块的数据系统中的部分类似的部分。当发送器20具有要被上载到接收器10的数据22时，发送器20处的数据上载管理器26可提取要被上载的数据22的单位的指纹，并将提取的指纹与本地存储指纹24相比较，以标识没有被上载到接收器10(或者以前被上载但已在本地被修改)的数据的一个或更多个单位。数据上载管理器26然后可将标识的数据单位上载到接收器10，该接收器10例如通过将数据单位存储到数据存储而处理12数据单位。

虽然该技术可减少在从发送器20向接收器10上载数据时使用的带宽，但是，该技术要求发送器20维持指纹24的字典。在许多这种系统中，在本地维持于发送器20处的数据22的本地存储或高速缓存可包含数以千兆字节或兆兆字节计数的数据。因此，可由发送器20维持的指纹24的字典会相当大。另外，在一些系统中，接收器10可为多个发送器20服务，并且，在这些系统中，难以在全局上应用重复删除(例如，以对于两个或更多个数据源跨由接收器10存储的数据一致地应用重复删除)。

发明内容