[发明专利]重复数据处理方法和装置

说明书

技术领域

本发明涉及数据处理技术，特别涉及一种重复数据处理方法和装置。

背景技术

固态硬盘(Solid-state hard drive，以下简称：SSD)因其具有高性能已经被应用到主存储阵列中。但由于SSD存储介质价格高昂，因此在使用过程中需要充分利用SSD中的存储空间，而存储于SSD中的数据可能存在数据重复存储的现象，重复数据会占用SSD中的存储空间，因而需要通过重复数据删除技术删除SSD中的重复存储的数据。

现有技术中，用于重复数据删除的方法有多种，例如：方法一，同步方式，也叫带内方式，即当内存中的数据写入SSD中时，该数据首先驻留在内存中，然后调用重复数据删除线程对要写入的数据进行辨识，判断该数据是否已在SSD中存储。如果是，则写入一个指针代替实际要写入的数据；如果不是，则将内存中的数据经过高速缓冲存储器(CACHE)处理后写入SSD中。方法二，异步方式，也叫带外方式，即当有数据写入SSD中时，该数据首先经过CACHE处理后写入SSD中，然后再启动单独的线程执行重复数据删除操作，读取已存储在SSD中的该数据，并对该数据进行辨识，判断该数据是否重复存储。如果是，则用指针代替该数据，清空该数据占用的存储空间；如果不是，则保留该数据。

在实现本发明过程中，发明人发现现有技术中存在如下问题：方法一中，数据需在重复数据删除操作结束后才能写入SSD中，待写入的数据驻留在内存中，不能有效的利用带宽，因此重复数据删除操作对SSD主存储阵列读写性能的影响较大。方法二中，由于需要启动单独线程执行重复数据删除操作，所以增加了额外的输入/输出(Input/Output，以下简称：I/O)开销，导致系统带宽被占用，也使得重复数据删除操作对SSD主存储阵列读写性能的影响较大。

发明内容

本发明实施例提供了一种重复数据处理方法和装置，以减小重复数据删除操作对SSD主存储阵列读写性能的影响。

本发明实施例提供了一种重复数据处理方法，其中包括：

接收用于读取物理块中的数据的读请求，所述读请求包括与所述物理块对应的映射表的信息；

根据所述映射表的信息将所述物理块中的数据写入内存中以读取所述物理块中的数据；

将已写入内存中的所述物理块中的数据进行重复数据删除操作。

本发明实施例提供了一种重复数据处理装置，其中包括：

接收模块，用于接收用于读取物理块中的数据的读请求，所述读请求包括与所述物理块对应的映射表的信息；

写入模块，用于根据所述映射表的信息将所述物理块中的数据写入内存中以读取所述物理块中的数据；

处理模块，用于将已写入内存中的所述物理块中的数据进行重复数据删除操作。

由以上技术方案可知，本发明实施例提供的一种重复数据删除方法和装置，通过在接收读请求时，由读请求触发执行重复数据删除线程，使重复数据删除线程改为被动方式，重复数据删除操作对数据的读写操作影响较小，并且无需增加额外的I/O开销；物理块中的数据直接写入内存中，无需通过CACHE处理，减小了重复数据删除操作对SSD主存储阵列读写性能的影响。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明重复数据处理方法实施例一流程图；

图2为本发明重复数据处理方法实施例二与SSD硬盘中物理块对应的映射表的原理图；

图3为本发明重复数据处理方法实施例二流程图；

图4为本发明重复数据处理方法实施例二中读请求的流程图；

图5为本发明重复数据处理方法实施例二中重复数据删除线程的流程图；

图6为本发明重复数据处理装置实施例三的结构示意图；

图7为本发明重复数据处理装置实施例四的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明重复数据处理方法实施例一流程图。如图1所示，本发明实施例一提供了一种重复数据处理方法，该方法包括：