[发明专利]一种通过优化数据放置来减少数据碎片的方法和装置

说明书

技术领域

本发明属于计算机信息存储技术领域，具体涉及一种通过优化数据放置来减少数据碎片的方法和装置。

背景技术

重复数据删除是一种高级的数据无损压缩技术，主要用于节省信息存储备份系统中所需的存储空间。它实现的基本原理是将每个文件依次切割成多个连续的数据块，并对单个文件以内或多个文件之间出现的重复数据块进行删除，以此来减少数据存储空间。现有的绝大多数信息存储备份系统都采用这种技术进行存储空间的优化，节省数据的存储成本和管理成本。

在使用了重复数据删除技术的信息存储备份系统中（简称为重复数据删除系统），主要存在着两类数据块。一类是需要写入磁盘的新数据块，另一类需要消除的重复数据块。对于新数据块，它们将依次顺序地写入磁盘；而对于需要消除的重复数据块，它们将不会被重复存储。因此，任何一个待备份文件，它包含的新数据块和重复数据块将不可能存放在一起，并且重复数据块的存放位置是由以前写这些数据块的备份文件决定的。这种在多个文件之间消除重复数据块的机制打破了以往备份系统中将一个备份文件的所有数据块顺序存储在一起的规则，导致一个备份文件的数据块会存放在多个不同的位置，产生多个数据碎片。

现有信息存储备份系统的重复数据删除方法主要关注如何提升数据压缩率和重复数据删除的吞吐率，没有考虑到由于重复数据块的删除会导致数据块的非顺序化放置以及引来很多数据碎片，并且这些数据碎片会严重影响数据的读写性能，导致信息存储备份系统的性能下降。

发明内容

本发明所要解决的技术问题就是，减少数据的非顺序化放置和数据碎片，在牺牲极少的数据压缩率的前提下缓解数据碎片的恶化，提升系统的读写性能。

解决上述技术问题，本发明提供一种通过优化数据放置来减少数据碎片的方法，它包括以下步骤：

步骤1，对每个待备份文件进行数据分块，并对每个待备份数据块求取数据块指纹；

步骤2，将多个连续的待备份数据块组织成待备份数据段；

步骤3，对于待备份数据段中的每个待备份数据块，在系统中查找是否有已备份数据段备份过相同的数据块，若没有，则为非重复数据块，进入步骤6，若有，则为重复数据块，进入步骤4；

步骤4，计算待备份数据段与已备份数据段的数据冗余局部性，将数据冗余局部性定量化，若此数据冗余局部性的值小于预定的阈值，进入步骤6，否则进入步骤5；

步骤5，从待备份数据段中删除待备份数据段与已备份数据段共享的重复数据块；

步骤6，数据块依次顺序写入磁盘。

本发明提供一种通过优化数据放置来减少数据碎片的装置，它包括：

数据分块与指纹计算单元，用于对每个传入到存储服务器的待备份文件进行数据分块，得到平均数据块大小为定量的待备份数据块，并对每个待备份数据块求取数据块指纹；

数据段组织单元，用于把多个连续的待备份数据块组织成待备份数据段；

重复数据块查询单元，用于查找已备份过的数据段中是否存在与待备份数据段相同的数据块，若没有，则为非重复数据块，转入数据读写单元，若有，则为重复数据块，转入重复数据块筛选单元；

重复数据块筛选单元，用于计算这些重复数据块所在的已备份数据段和待备份数据段之间的数据冗余局部性，将数据冗余局部性定量化，若此数据冗余局部性的值小于预定的阈值，转入数据读写单元，否则转入数据擦除单元；

数据擦除单元，用于删除由重复数据块筛选单元确认的重复数据块；

数据读写单元，用于把需要保留的重复数据块和其他非重复数据块一起写入磁盘中。

在重复数据块的查找与删除过程中，本发明把小于预定冗余局部性阈值的重复数据块进行保留，并将他们与非重复数据块顺序存放在一起，因此本发明能减少所生成的数据碎片。

与现有的重复数据删除方法相比，本发明具有如下的优点：

1、通过保留部分重复数据块，使这些数据块与非重复数据块顺序存放在一起，可以减少所产生的数据碎片量；

2、通过将更多的属于同一个文件的数据块聚集在一起，减少数据碎片量，能大大增强数据的冗余局部性；

3、数据冗余局部性的提高，不仅可以改善重复数据删除的吞吐率和数据写性能，也能改善数据读性能；