[发明专利]一种缓存数据处理方法、装置和存储控制器

说明书

揭露一种数据处理方法，以及对应的装置和存储控制器。其中，数据处理方法包括：获取数据的压缩比D、重删比C、平均分条填充率I、缓存中目标分条大小S、所述目标分条中有效数据大小W；根据获取的这几项参数，使用公式，获取淘汰数据量N，根据N的取值执行下述操作中的一个：在T_min≤N≤T_max的情况下，将大小为N的数据写入所述目标分条，把所述目标分条的数据淘汰给存储介质，其中当T_min是预设的第一阈值，T_max是预设的第二阈值；在N＞T_max的情况下，将大小为N的数据写入所述目标分条；在N＜T_min的情况下，把所述目标分条的数据淘汰给所述存储介质。使用该方案对缓存数据下盘的时间点进行了更合理的设计。

技术领域

本发明涉发明存储技术，特别涉及于存储领域技术的日志领域。

背景技术

缓存(cache)是一种为了解决高、低速设备之间速度不匹配而采用的一项重要技术，广泛应用于各种领域如存储系统中，可以减少应用响应时间、提升效率。

在存储系统中，为了提升存储系统的性能，通常在处理设备和硬盘之间增加一个缓存层(也称为回写缓存，write-back cache)。缓存层可以提高系统读写性能，所以有时候也把缓存层称为性能层。

缓存使用的介质例如是固态硬盘(solid state disk，SSD)，其其读写性能优于持久化存储介质(例如硬盘)。相对于硬盘，可以更快速处理来自主机应用程序的写请求。缓存的存储容量有限，因此当空闲空间不足时，需要根据淘汰算法把一部分缓存介质数据淘汰到硬盘中，以便腾出空间为后续的写请求使用。这部分从缓存下发到硬盘的数据称为脏数据。

为了尽快的让缓存拥有足够的空闲空间，在空闲空间不足时需要尽快把脏数据淘汰到硬盘中去。否则会造成写请求难以被及时处理。

存储领域中，缓存中脏数据通常是以分条作为粒度下发到硬盘。分条是逻辑概念，类似于一个装数据的容器。如果下发的数据不足一个分条，意味着分条中仅有部分位置有效数据，分条中存在空闲位置。参见图1中的分条，其利用率只有50％。这种没有被有效数据“装满”的分条，和被有效数据“装满”的分条一样，都会占用硬盘中一个完整分条的存储空间，而且会产生一组元数据。因此，如果分条中有效数据和空闲位置的比例越大。可以节约越多的硬盘存储空间，以及减少元数据的数量。如果分条完全“装满”有效数据后再下发，可以最大化的利用硬盘存储空间，以及产生最少的元数据。

由此可见，脏数据的淘汰方式存在两个矛盾的需求：从尽快获取更多空闲缓存空间这个需求考虑，脏数据需要尽快淘汰到硬盘，最好是一旦空闲空间不足，立刻执行淘汰操作；而从提高硬盘利用率和减少元数据这个需求考虑，需要尽量凑满分条后再把脏数据淘汰到硬盘，最好是把脏数据凑满完整的分条后再执行淘汰操作。如何在二者中寻求一个平衡，是业界需要解决的问题。

现有技术中并没有很好的解决这个问题。每秒读写次数(IOPS)抖动过大，以及硬盘存储空间利用不足的情况时有发生。

发明内容

本发明实施例提供一种缓存数据处理方法、装置和存储控制器，可以缓解IOPS的严重波动，使存储系统的性能越稳定。