[发明专利]利用异步数据词典在多租户共享的基础设施中的基于流的重复数据删除

说明书

本申请基于并要求2012年5月17日提交的序列号No.61/648,209的优先权。

技术领域

本申请一般涉及通过网络的数据通信。

背景技术

分布式计算机系统在现有技术中是公知的。一个这样的分布式计算机系统是通常由服务提供者操作并管理的“内容递送网络”或“CDN”。服务提供者通常代表使用服务提供者的共享基础设施的第三方(用户)提供内容递送服务。此类型的分布式系统有时被称为“覆盖网络”并且通常是指由网络或网络链接在一起的独立计算机与软件、系统、协议和技术的集合，所述技术被设计以便于各种服务，诸如内容递送、网络应用加速、或外包源站点基础设施的其它支持。CDN服务提供者通常经由数字资产(诸如网站)提供服务递送，其被提供在用户门户中并且然后被布置到网络。

数据差异化是在服务器与客户端之间利用资源的共享先前实例，在压缩术语中也称为共享词典之内的数据版本，的公知的技术和方法；所述处理通过仅仅发送差异或自从那些先前实例以来出现的改变而工作。数据差异化涉及压缩，但是它是稍微有差别的构思。具体地，直观地，差异(“diff””)是一种压缩形式。只要接收者与发送者具有相同的初始文件，那些发送者可以给接收者diff而不是整个新文件。diff实际上说明如何从旧文件创建新文件。它通常远小于整个新文件并且因此是一种压缩形式。文档的第一版本与前述文档的第二版本之间的diff是数据差异；数据差异是利用文档的第一版本作为预设词典的文档的第二版本的压缩结果。

基于流的重复数据删除(“重复数据删除”)系统在现有技术中也是公知的。一般，基于流的重复数据删除系统通过检查流过连接的发送对等方的数据和用指到每个对等方关于给定块已经同步的共享词典中的参考来替换数据块进行工作。引用本身远小于数据并且通常是它的散列或指纹。当接收对等方接收修改的流时，它利用原始数据替换引用以再一次做出整个流。例如，考虑一个系统，其中指纹是用单个字母变量表示的唯一散列。发送对等方的词典然后可以如图3所示。接收对等方的词典可以如图4所示。然后，例如，如果发送对等方被认为发送诸如“Hello，how are you？Akamai is Awesome！”之类的串，则重复数据删除系统将处理数据并且发送以下消息：“He[X]re you？[T][M]ome！”。接收对等方利用它的词典解码消息。注意，在此示例中，发送对等方并不利用引用[O]替换“ome！”。这是因为，虽然发送对等方具有指纹和在它的高速缓存中存储它的块，但是对等方知道(通过机制)接收对等方并不具有。因此，发送对等方在发送它之前不在消息中插入引用。此类型的系统通常以若干公知方式填充是对称的词典。在一个方法中，当数据流流过数据处理器时以固定长度的块(例如，每块具有15个符号的长度)填充词典。第一次数据经过发送和接收对等方时，并且假定它们都以同样的方式构成词典，则两个对等方以具有包含相同的条目的词典终止。但是，此方法不是最优的，因为它常遭受被称为“偏移”问题的问题，其可以不利地影响生成的指纹并且破坏整个方案。

可替换方法利用以滚动方式计算的散列使用可变长度的块。在基于被称为Rabin指纹技术的公知的解决方案中，系统在指纹处理期间跨数据流滑过特定大小(例如，48字节)的窗口。在Muthitacharoen等的标题为“A Low-Bandwidth Network File System”(LBFS)的论文中描述该技术的实施方式，并且结果实现可变大小的抗偏移块。

当前供应基于流的重复数据删除产品和服务的厂家通过配对设备解决词典发现的问题(知道什么信息处于对等方的词典中)。因此，例如，电器/盒子厂家依赖于在每个末端上的一对设备或处理以彼此通信以维护让每个端知道什么引用存在于配对的对等方中的表。但是，这类解决方案仅仅在处理表示“路径中”对的各个盒子与单元时工作。

但是，路径中配对的解决方案在诸如CDN之类的覆盖网络的背景中是不实际的，其中节点的分布更接近地类似树。因此，例如，在代表性的实施方式中，并且参考特定源服务器(或，一般地说，“租户”位于“根”处)，覆盖网络可以具有更接近于根的父层服务器，和更接近于叶节点的客户端边缘服务器。换句话说，替换需要知道一个或多个对等方盒子(诸如在公知的盒子厂家解决方案中)的小集合的盒子，父层服务器可以需要与数十、数百乃至数千的边缘区域联系，每个都可能包含许多服务器。在这个背景下，每个机器表不能衡量。

因此，仍然需要提供在覆盖网络背景中用于重复数据删除的增强的技术。

发明内容