[发明专利]元数据查询方法和装置

说明书

技术领域

本发明涉及存储技术，尤其涉及一种元数据查询方法和装置。

背景技术

重复数据删除也称为智能压缩或单一实例存储，是一种可自动查找重复数据，将相同数据只保留一个副本，并使用指向单一副本的指针替换掉其他重复副本，以达到消除冗余数据、降低存储容量需求的存储技术。

现有重复数据删除技术的元数据查询方案中包括如下模块：元数据缓存(Metadata Cache)、布隆过滤器(Bloom Filter)、全索引表(Full Index Table)、容器(Container)，其中，Metadata Cache用于缓存元数据；Bloom Filter用于过滤掉大部分的新数据块，减少磁盘访问次数；Full Index Table用于索引元数据在磁盘中的存储位置；Container用于存放删除重复数据后的数据块和元数据。

现有的元数据查询流程如下：对于一个要查询的元数据(Metadata)，首先在元数据缓存中查找，如果在缓存中找到相同的元数据，则该元数据对应的分块是重复块。如果在缓存中没有找到，再到布隆过滤器中查找，如果没有在布隆过滤器中找到，则对应的分块一定是新块。如果元数据在布隆过滤器中，就到索引表中查找对应的容器，如果能在索引表中找到，则对应的分块是重复块，并把对应的容器的元数据全部加载到缓存中。

但是，现有技术中的索引表是全索引包含了所有分块元数据的索引。由于这种索引表占用的空间太大，存放在磁盘上就导致很多的磁盘IO操作，降低了查询的性能。

发明内容

本发明实施例提供一种元数据查询方法和装置，用于提高查询性能，降低占用的内存空间。

本发明实施例提供了一种元数据查询方法，包括：

在要查找的元数据中抽样出至少一个第一元数据；

将抽样得到的每个第一元数据中的至少部分特征值作为索引，在内存中预置的稀疏索引表中查找对应的容器标识，所述稀疏索引表中记录容器标识，每个容器标识在所述索引表中位置的索引是所述容器标识对应容器中存储的元数据的至少部分特征值；

根据同一个容器标识被查到的次数，选择满足设定条件的容器标识对应的容器；

将所述选择的容器中的元数据加载到元数据缓存中；

从所述元数据缓存中查找与所述要查找的元数据相同的数据块。

本发明实施例提供了一种元数据查询装置，包括：

抽样模块，用于在要查找的元数据中抽样出至少一个第一元数据；

确定模块，用于将抽样得到的每个第一元数据中的至少部分特征值作为索引，在内存中预置的稀疏索引表中查找对应的容器标识，所述稀疏索引表中记录容器标识，每个容器标识在所述索引表中位置的索引是所述容器标识对应容器中存储的元数据的至少部分特征值；

选择模块，用于根据同一个容器标识被查到的次数，选择满足设定条件的容器标识对应的容器；

加载模块，用于将所述选择的容器中的元数据加载到元数据缓存中；

查找模块，用于从所述元数据缓存中查找与所述要查找的元数据相同的数据块。

由上述技术方案可知，本发明实施例通过采用稀疏索引表且该稀疏索引表设置在内存中，可以避免磁盘IO操作，提高查询性能；通过不设置布隆过滤，可以降低占用的内存空间。

附图说明

图1为本发明元数据查询方法一实施例的流程示意图；

图2为本发明元数据查询方法对应的结构示意图；

图3为本发明中稀疏索引表的结构示意图；

图4为本发明元数据查询装置一实施例的结构示意图；

图5为本发明元数据查询装置另一实施例的结构示意图。

具体实施方式

图1为本发明元数据查询方法一实施例的流程示意图，包括：

步骤11：在要查找的元数据中抽样出至少一个第一元数据。

例如，参见图2，图2所示的要查找的元数据为6个，可以从中抽样出第2个和第5个，将第2个和第5个作为第一元数据。

具体的抽样方式可以是：首先，将要查找的元数据分组，例如，将要查找的元数据依次选取相同数目的元数据作为一组；

之后，在每个组中抽样一个元数据，例如，在每个组中选择一个哈希值最小的元数据作为抽样的元数据。

步骤12：将抽样得到的每个第一元数据中的至少部分特征值作为索引，在内存中预置的稀疏索引表中查找对应的容器标识，所述稀疏索引表中记录容器标识，每个容器标识在所述索引表中位置的索引为所述容器标识对应容器中存储的元数据的至少部分特征值。