[发明专利]数据分块方法及装置

摘要

本发明实施例提供一种数据分块方法及装置。该方法包括采用所述滑动窗口的指纹值，分别对第1个模值至第N个模值进行取模，如果对一个模值取模后的值为零；将原数据流中从第n层的上一个数据块的结束位置开始到滑动窗口的结束位置之间的数据作为当前数据块；在指纹字典中没有存储当前数据块的指纹值时，n大于1，在新数据流占用的空间中写入当前数据块，以覆盖在新数据流中当前数据块包括的所有第n‑1层的数据块，否则将当前数据块顺序写入新数据流；否则，在新数据流中写入当前数据块的指纹值，以覆盖新数据流中当前数据块包括的所有第n‑1层的数据块的指纹值，否则将当前数据块的指纹值顺序写入新数据流占用的空间。

主权项

一种数据分块方法，其特征在于，包括：11.获取原数据流上滑动窗口的指纹值，所述滑动窗口的初始起始位置与所述原数据流的起始位置相同，所述滑动窗口的长度为预设长度；12.采用所述滑动窗口的指纹值，分别对第1个模值至第N个模值进行取模，对于每个模值，如果取值后的值为零均执行步骤13和14，其中，将第i个模值向左扩展预设位数后得到第i+1个模值，所述i为大于等于1并且小于所述N的任一个自然数，所述N为模值的总个数；13.将所述原数据流中从第n层的上一个数据块的结束位置开始到所述滑动窗口的结束位置之间的数据作为当前数据块，所述当前数据块为第n层数据块；其中，所述n为大于等于1并且小于等于所述N的任一个自然数：在指纹字典中没有存储所述当前数据块的指纹值时，将所述当前数据块存储到分块字典中，将所述当前数据块的指纹值和所述当前数据块在所述分块字典中的索引信息存储到所述指纹字典中，当所述n大于1时，在新数据流占用的空间中写入所述当前数据块，以覆盖在所述新数据流中所述当前数据块包括的所有第n‑1层的数据块，当所述n等于1时，将所述当前数据块顺序写入所述新数据流占用的空间；在所述指纹字典中存储有所述当前数据块的指纹值时并且当n大于1时，在所述新数据流占用的空间中写入所述当前数据块的指纹值，以覆盖所述新数据流中所述当前数据块包括的所有第n‑1层的数据块的指纹值，在所述指纹字典中存储有所述当前数据块的指纹值时并且当n等于1时，将所述当前数据块的指纹值顺序写入所述新数据流占用的空间；14.将所述滑动窗口在所述原数据流上朝结束位置滑动所述预设长度，获取原数据流上滑动窗口的指纹值，重复执行步骤12‑14，直至所述滑动窗口的起始位置滑动至所述原数据流的结束位置。