[发明专利]高速缓存过滤方法和装置

说明书

技术领域

本发明总体涉及存储器和处理。具体而言，本发明涉及用于高速缓存过滤的方法和装置。

背景技术

特别是在计算机处理和存储器系统领域，处理器和主存储器之间的速度差距日渐增长。该差距直接影响整个计算系统的性能。为了缓解性能方面的顾虑，计算系统包括赖以缩小该速度差距的高速缓存机制。这种高速缓存机制在缩小速度差距方面的成功随其参数而变化，参数诸如为高速缓存的大小、块大小和关联性。然而，这种高速缓存机制不可能通过改变这些参数而持续改善性能，这是由于这样做会达到由于增加系统复杂度、功耗和高速缓存自身的性态而出现性能变差的现象。

为了使高速缓存有效工作，目前的高速缓存机制通常依赖于访问(reference)的空间局部性(locality)和时间局部性。然而，诸如多媒体应用的一些情况局部性有限，而是更依赖于主存储器的性能。而且用C、C++和面向对象的编程语言编写的应用程序使用动态分配的数据结构把数据映射到可用存储器空间。因而数据会分散在存储器中，因此空间局部性差。这些应用中的数据元素在时间上不能尽快重复利用，因而时间局部性也差。这种类型的计算应用中空间局部性和时间局部性差会使传统高速缓存机制效率下降。

存储器系统中，空间局部性和时间局部性差但多次使用的访问比存储在高速缓存中但从未再次使用的访问更需要保存在高速缓存中。不希望出现保存在高速缓存中但不再使用的访问，这是由于这些访问和其他更经常使用的访问竞争。此外，不应除去或替换空间局部性和时间局部性差但是使用频率高的访问。

通常通过利用一些应用中不存在的访问的局部性来改善这些高速缓存机制。更常见的通过增加额外硬件成本来实现，以通过增加高速缓存大小和关联性、提供更多的存储器体系级别或者提供预取缓冲器来把更多访问保存在高速缓存中。

相应地，由于处理器速度和主存储器速度之间的差距增长以及一些应用中缺少局部性，高速缓存机制变得效率更低。为了解决高速缓存限制以及高速缓存未命中损失(penalty)的持续增加，在需要数据之前使用硬件和软件预取方案事先从主存储器中取出数据。虽然这种预取方法对一些应用中的普通存取模式是有用的，但是，这种方法不能隐藏现代和未来处理器中长达几百个周期的非常长的高速缓存未命中延迟。

提出了其他方法以通过选择性分配来更好地管理主存储器高速缓存(即一级高速缓存或L1高速缓存)。这些选择性分配方案根据统计划分高速缓存，这样，基于高速缓存块的空间和时间局部性把高速缓存块划分到不同的子高速缓存中。然而，如果存取模式不适合划分方法，这些方法性能较差，因而这些方法存在问题。

提出了其他方法，这些方法利用多级高速缓存中访问使用频率以把最经常使用的访问移动到较高级别高速缓存，以改善L1高速缓存性能。然而，该方法适于具有小的一级高速缓存的系统，在一级高速缓存大小和关联性增加时其效率降低。

还提出了其他方法，利用第一级高速缓存作为过滤器，以把有用的不确定存储器访问放在第一级高速缓存中。然而，该方法性能改善有限，而且为了预测访问的使用不利地增加了硬件成本。

因而，需要提供一种不依赖于昂贵的附加硬件并且可以处理大存储器高速缓存的高速缓存机制，这种机制以节约成本的方式减小现代存储器系统和计算机处理器之间的速度差距。

发明内容

本发明的目的是消除或减轻前述高速缓存机制的至少一种缺点。

通过分析存储器访问的特性认识到多次使用的访问很少，而使用从未超过一次的访问很多。此外，发现使用两次或更多次的地址数量大约为使用一次或多次的地址数量的一半。这意味着传输到传统高速缓存中的一半地址从未使用过。利用昂贵的处理器和存储器总线时间把这些地址从主存储器传输到高速缓存中。此外，高速缓存中从未使用的访问和经常使用的访问竞争，可以把经常使用的访问排挤到高速缓存之外。因而，把经常使用的访问保存在高速缓存中而把不常用的访问拒绝在高速缓存之外是有用的。

总体而言，本发明实施例通过监控对DRAM开放行的访问的特性来动态管理高速缓存。DRAM中的数据不受处理器预取方案或高速缓存的影响。高速缓存中有数据时，由于给定时刻仅把有限大小的数据传输给高速缓存，所以高速缓冲中的数据的局部性发生改变。使用高速缓存中数据特性的现有方案受到处理器影响，并且其范围受到高速缓存局部性限制。因而，显而易见的是高速缓存不能解决其自身的限制，相反，必须从高速缓存之外寻求解决之道。本发明实施例提供了不增加系统复杂度而改善高速缓存性能的新方法。这通过使用访问特性以及其在主存储器中的使用频率而实现。