[发明专利]一种基于多个缓存的数据淘汰方法及装置

说明书

本发明公开了一种基于多个缓存的数据淘汰方法及装置，涉及计算机技术领域，该方法包括：按照预设的等级划分规则划分多个缓存等级，分别为各个缓存等级创建匹配的线程池；其中，每个线程池中包含多个线程；利用各个线程池中的多个线程分别扫描各个缓存，根据扫描结果以及等级划分规则确定各个缓存的缓存等级；利用每个线程池中的多个线程对缓存等级与该线程池匹配的缓存内的数据进行淘汰。本发明采用多线程处理方式，极大地提高了缓存中数据淘汰处理的效率。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于多个缓存的数据淘汰方法及装置。

背景技术

缓存(Cache)是一种为了解决高、低速设备之间速度不匹配而采用的一项重要技术，广泛应用于各种领域如存储系统、数据库、网页(web)服务器、处理器、文件系统、磁盘系统等，可以减少应用响应时间、提升效率。但是，实现Cache技术所用到的存储介质如RAM、SSD等，在具有更高性能的同时，价格也较昂贵，出于性价比的考虑，Cache的容量大小受到限制，因此需要有效的管理Cache空间，于是出现了多种Cache淘汰算法，例如：最近最少使用(Least Recently Used，简称LRU)淘汰算法；最近最不频繁使用(Least FrequentlyUsed，简称LFU)淘汰算法；最近最多使用(Most Recently Used，简称MRU)淘汰算法；自适应Cache(Adaptive Replacement Cache，简称ARC) 淘汰算法等。

但是，发明人在实现本发明的过程中，发现在现有技术中至少存在如下问题：现有技术的淘汰算法一般为单线程处理方式，处理效率较低，而且较低的处理效率有时会导致有限的缓存空间被用完后不能及时腾空，无法及时地存储后续数据。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于多个缓存的数据淘汰方法及相应的装置。

根据本发明的一个方面，提供了一种基于多个缓存的数据淘汰方法，包括：按照预设的等级划分规则划分多个缓存等级，分别为各个缓存等级创建匹配的线程池；其中，每个线程池中包含多个线程；利用各个线程池中的多个线程分别扫描各个缓存，根据扫描结果以及等级划分规则确定各个缓存的缓存等级；利用每个线程池中的多个线程对缓存等级与该线程池匹配的缓存内的数据进行淘汰。

优选的，该方法进一步包括：为各个线程池分别设置对应的权重值，根据各个线程池的权重值设置各个线程池内包含的线程的数量；其中，线程池的权重值越大，线程池内包含的线程的数量越多。

优选的，为各个线程池分别设置对应的权重值，根据各个线程池的权重值设置各个线程池内包含的线程的数量的步骤具体包括：定期获取各个线程池的扫描结果，根据扫描结果确定各个缓存等级对应的缓存数量；根据各个缓存等级对应的缓存数量调整各个线程池的权重值，并根据各个线程池调整后的权重值调整各个线程池内包含的线程的数量；其中，缓存等级对应的缓存数量越多，与该缓存等级匹配的线程池的权重值越大。

优选的，为各个线程池分别设置对应的权重值的步骤进一步包括：针对每个线程池，根据与该线程池匹配的缓存等级的高低设置该线程池对应的权重值；其中，与该线程池匹配的缓存等级越高，该线程池的权重值越大。

优选的，预设的等级划分规则包括：按照缓存的剩余存储空间与总存储空间之间的比值划分缓存等级，其中，剩余存储空间与总存储空间之间的比值越大，缓存等级越高。

优选的，利用每个线程池中的多个线程对缓存等级与该线程池匹配的缓存内的数据进行淘汰的步骤具体包括：根据缓存内的各个数据的写入总次数以及预设的温度属性计算规则，计算缓存内的各个数据的温度属性值，并根据温度属性值确定缓存内的各个数据的淘汰顺序。

优选的，各个线程池之间相互并行运行。