[发明专利]数据分块方法及装置

说明书

技术领域

本发明实施例涉及通信技术，尤其涉及一种数据分块方法及装置。

背景技术

重复传输相同或相似的数据会浪费网络资源。采用冗余流量删除（Redundant Traffic Elimination，简称RTE）技术，可以实现协议无关的冗余消除，使数据通信变得更有效率。现有RTE技术通常采用基于模块化指数(Modular Exponential,MODP)的分块方法，根据文件内容对数据流进行分块。基于MODP的分块方法通过一个滑动窗口来实现，对一个给定的模值p（例如，10010），当滑动窗口的指纹值（例如，1111 0111 0010）对模值p取模后的值为0，则该滑动窗口末尾到上一个数据分块结束的位置之间的数据内容被划分为一个数据分块。当滑动窗口的指纹值（例如，1111 0111 0010）对模值p取模后的值不为0，滑动窗口向后移动一个字节或者自定义的一个长度。得到数据分块后，计算分块的指纹值，并在指纹字典中与已存储的数据分块的指纹值进行比较，如果检测到相同的指纹值，表示找到冗余的数据内容，则在新数据流中用一个标识符来替换该数据分块，以达到压缩流量的目的。如果没有检测到相同的指纹值，存储该数据分块及其指纹，以用于其后分块的冗余检测。用于替换数据分块的标识符的长度是固定的，如果对应的数据分块长度越大，则传输时节省的带宽也越大。但是，大的数据分块意味着去冗是粗粒度的，相同的数据分块难以重复出现，从而去冗率较低。

目前，提出了一种分层的分块方案，可同时实现粗粒度和细粒度的冗余消除，以提高去冗率。发送端采用基于MODP的分块方法对原始数据流进行分块，得到数据分块序列101：分块SA、SB、SC、SD、SE和SF，并替换为相应分块的标识符，例如，分块SA替换为标识符R¹₁，得到标识符序列102（称为1层标识符）：R¹₁、R¹₂、R¹₃、R¹₄、R¹₅和R¹₆。将标识符序列102视为一般的数据流，再次使用基于MODP的分块方法对标识符序列102进行分块，得到了标识符数据的两个数据分块，同样将其替换为2层的标识符序列103：R²₁和R²₂。例如，内容是标识符R¹₁和、R¹₂的分块替换为第2层标识符R²₁，内容是标识符R¹₃、R¹₄、R¹₅和R¹₆替换为2层标识符R²₂。从数据内容看，第2层标识符R²₁代表了数据分块SA和SB，R²₂代表了分块SC、SD、SE和SF。在发送端向接收端发送的新数据流中，尽可能用高层的标识符来替换数据分块，以节省带宽。

然而，上述层次式分块方案中，第2层标识符是对第1层标识符进行分块后产生的，必须在第2层标识符中增加指示位，用于指示该标识符是分块的标识符，还是标识符的标识符。否则，接收端无法还原出原始数据。因此，上述层次式分块方案，增加了标识符的开销，降低了去冗率。

发明内容

本发明实施例提供一种数据分块方法及装置，用以提高数据分块的去冗率。

第一方面，本发明实施例提供一种数据分块方法，包括：

11.获取原数据流上滑动窗口的指纹值，所述滑动窗口的初始起始位置与所述原数据流的起始位置相同，所述滑动窗口的长度为预设长度；

12.采用所述滑动窗口的指纹值，分别对第1个模值至第N个模值进行取模，对于每个模值，如果取值后的值为零均执行步骤13和14，其中，将第i个模值向左扩展预设位数后得到第i+1个模值，所述i为大于等于1并且小于所述N的任一个自然数，所述N为模值的总个数；