[发明专利]一种提高重复数据删除备份系统恢复性能的数据布局方法

摘要

本发明提出一种基于数据块存储地址的数据布局方法，用于提高重复数据删除备份系统的恢复性能。该方法充分考虑每个数据块的具体存储位置，并结合磁盘的带宽和寻道时间，在备份时计算数据的恢复速度，若恢复速度满足用户需求，则认为对应的数据不是数据碎片，反之则是数据碎片。与已有方法不同的是，该方法是一种基于数据块存储地址的数据布局方法，碎片识别时使用更加细粒度的碎片识别方式，能精确定位每一个碎片。通过这种方法，可以获得比其他方法更高的重删率和数据恢复性能。

主权项

1.一种提高重复数据删除备份系统恢复性能的数据布局方法，具体步骤为：(1)对需要备份的数据集使用数据块变长算法进行不定长分块，然后采用哈希算法计算每个数据块的指纹；(2)在指纹查找表中查询步骤(1)中计算得到的数据块指纹，若不存在该指纹，则标记对应的数据块为新数据块；反之若存在该指纹，则说明对应的数据块已经被存储过，标记该数据块为重复数据块，并记录所述重复数据块的存储地址；(3)对步骤(2)得到的重复数据块进行分组操作，即把这些重复数据块按照数据块的存储地址进行排序，将相邻的存储地址间隔小于分组阈值的数据块分为一个组，而相邻的存储地址间隔大于或等于分组阈值的数据块则被分到两个不同的组；(4)对步骤(3)所得到的每个组进行碎片识别，若在一个组中，恢复或读取某个数据集对象时，该组内的有效数据块的传输速度低于用户所期望的传输速度，则该组内的有效数据块被标记为数据碎片，反之，则该组内的有效数据块被标记为非碎片数据块；(5)删除步骤(4)中识别出的非碎片数据块，存储步骤(4)中识别出的数据碎片以及步骤(2)中标记出的新数据块并记录所述数据碎片和所述新数据块的存储地址；(6)根据所述新数据块以及所述数据碎片在步骤(5)获得的存储地址更新指纹查找表。