[发明专利]一种基于全闪存阵列的数据压缩方法及系统

说明书

本申请实施例公开了一种基于全闪存阵列的数据压缩方法及系统，用于提高数据去重效率，提高存储系统的IO性能。本申请实施例方法包括：获取性能层中被压缩的数据；将被压缩的数据切分为预设长度的第一数据块，计算第一数据块的哈希值；将第一数据块的哈希值与存储于内存中的第一去重指纹库进行匹配，以确定是否存在第一匹配指纹，第一去重指纹库的指纹为存储于容量层中的第二去重指纹库中对应指纹的部分内容；若不存在，则确定第一数据块为非重复数据块，则对第一数据块进行压缩，并将压缩后的第一数据块回写至容量层，而将第一数据块的指纹及部分指纹对应更新至第二去重指纹库及第一去重指纹库中。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种基于全闪存阵列的数据压缩方法及系统。

背景技术

一般地，为了节省数据的存储空间，文件在存储时，会对文件中的数据进行去重压缩，以减小数据的占用空间。

所谓去重，即通过计算数据块的安全哈希摘要(比如SHA1指纹)来唯一识别数据块，避免了数据的逐个字符的匹配，而且存储系统只需要简单地维护安全哈希摘要的索引表，就可以实现快速方便地识别重复数据，且重复的数据内容只需要记录相应的数据指针信息即可达到节省存储空间的目的。

而数据压缩也是一种冗余数据消除技术，主要通过编码的方式消除冗余数据信息，即在保证原有数据信息不丢失的前提下，将原始内容进行转换，对于重复的字节序列用更少字节数的编码表示，从而达到消除部分冗余数据并最终节省存储空间的目的。

而在全闪存阵列中，因为去重指纹库都存储在容量层中，所以每次在去重前，都需要去容量层中进行匹配，且去重指纹库在容量层中所占用的空间存储率较大，故导致每次的去重检索都需要花费较大的IO开销。

发明内容

本申请实施例提出了一种基于全闪存阵列的数据压缩方法及系统，用于提高数据去重的效率，从而提高存储系统的IO性能。

本申请实施例第一方面提供了一种基于全闪存阵列的数据压缩方法，该闪存阵列包括：性能层和容量层，该方法包括：

获取性能层中被压缩的数据；

将所述被压缩的数据切分为预设长度的第一数据块，计算所述第一数据块的哈希值；

将所述第一数据块的哈希值与存储于内存中的第一去重指纹库进行匹配，以确定是否存在第一匹配指纹，所述第一去重指纹库的指纹为存储于所述容量层中的第二去重指纹库中对应指纹的部分内容；

若不存在所述第一匹配指纹，则确定所述第一数据块为非重复数据块，则对所述第一数据块进行压缩，并将压缩后的第一数据块回写至所述容量层，而将所述第一数据块的指纹及部分指纹对应更新至所述第二去重指纹库及第一去重指纹库中。

优选的，该方法还包括：

若第一去重指纹库中存在所述第一匹配指纹，则将所述第一数据块与存储于所述容量层中的所述第二去重指纹库进行匹配，以确定是否存在第二匹配指纹；

若第二去重指纹库中存在所述第二匹配指纹，则确定所述第一数据块为重复数据，并将所述第一数据块的元数据信息回写至所述容量层的元数据区域，所述元数据信息包括所述第一数据块在所述被压缩数据中的逻辑地址、所述第二匹配指纹及所述第二匹配指纹的物理地址之间的对应关系。

优选的，该方法还包括：

若第二去重指纹库中不存在所述第二匹配指纹，则确定所述第一数据块为非重复数据块，则对所述第一数据块进行压缩，并将压缩后的第一数据块回写至所述容量层，而将所述第一数据块的指纹及部分指纹对应更新至所述第二去重指纹库及第一去重指纹库中。

优选的，所述将压缩后的第一数据块回写至所述容量层，包括：