[发明专利]一种云环境下基于重复数据的缓存方法

摘要

本发明公开了一种云环境下基于重复数据的缓存方法，属于计算机云存储技术领域。该方法将文件分为多个数据块，以数据块的方式加载于缓存中，重复的数据块只加载一次，由此提高缓存空间的利用率；进一步地，研究文件间的重复块的规律，提出一种基于重复比例考量的缓存替换方法，提高缓存命中率，最终提高缓存系统的效率。

主权项

1.一种云环境下基于重复数据的缓存方法，其特征在于，该方法包括以下步骤：1)记欲加载的文件为T；2)根据文件T的哈希值查询文件级哈希映射表以判定该文件是否已被缓存，若未缓存，则进入步骤3)，否则结束；3)将文件T包含的数据块信息增加至元数据文件；4)将文件T中的数据块按照如下方式加载于内存中：41)将文件T的文件哈希值添加至文件级哈希映射表；42)根据文件哈希值找到该文件对应的元数据文件，元数据文件包括该文件的所有分块数据块信息；43)从元数据文件中读取某一数据块的哈希值；44)根据数据块哈希值在元数据属性表查询是否已缓存该数据块，若未缓存，则进入步骤45)；若已缓存，然后继续读取下一数据块，返回步骤43)，直到文件T的所有数据块处理完毕；45)将数据块加载于缓存中，在元数据属性表中添加新加载的数据块哈希值，其对应的引用次数初始化为1，然后继续读取下一数据块，返回步骤43)，直到文件T的所有数据块处理完毕；在所述步骤45)之前，还判定缓存是否已满，若满，则从缓存中选取文件删除，将删除的文件哈希值从文件级哈希映射表移除，将删除文件涉及的数据块引用次数减1，如果引用次数为0，删除数据块，进入步骤45)；若未满，直接进入步骤45)；所述从缓存中选取文件删除的选取原则是：选取重复比例Dup最低的文件删除，所述重复比例定义为：统计文件中有多少个数据块与其它文件具有相同的数据块；用相同数据块的个数除以这个文件的数据块总数得到重复比例；在加载数据块的同时还构建：用于记录加载文件哈希值的文件级哈希映射表；用于记录加载的数据块哈希值、数据块大小、数据块在文件中的起始位置信息的元数据文件，元数据文件以文件哈希值命名；记录数据块哈希值和引用次数的元数据属性表；所述引用次数的定义为：缓存中某数据块被多个文件同时拥有，所涉及的文件总数被定义为该数据块的引用次数。