[发明专利]一种处理器末级高速缓存的管理系统及方法

说明书

技术领域

本发明涉及现代处理器技术，尤其涉及处理器中末级高速缓存的管理系统及方法。

背景技术

目前，功耗问题已经成为单核和多核处理器扩展的关键限制因素，而末级高速缓存已经被证明可以在使用较少功耗的情况下有效提高性能。因此在未来的处理器中会出现容量更大的末级高速缓存。而末级高速缓存的管理策略可以显著影响其命中率，因此对于高速缓存的性能至关重要。

在末级高速缓存中，由于大量的缓存块的重用距离大于缓存的容量，因此常用的最近最少使用算法（LRU，Least Recently Use）和其近似算法性能不佳。之前有很多有关算法研究试图捕获这些远距离重用块的访问，来管理末级高速缓存，主要可以分为四种：替换算法、死亡块预测、旁路以及自适应算法；其中：

替换算法：其中动态插入算法（DIP，Dynamic Insertion Policy）通过改变缓存块的插入策略，使得已经在缓存中的远距离重用块在缓存中存活更长的时间，由此使得这些块在被排出前可以得到命中。再访问插入预测（RRIP，Re-Reference Insertion Prediction）进一步通过区分在缓存中被访问过的块和没被访问过的块，使得被访问过的块在缓存中停留的时间更长。伪后进先出（Pseudo-LIFO，Pseudo-Last-In-First-Out）通过优先排出栈顶端的块，使得栈底端的块被保存的时间更长。

死亡块预测：如果一个块在被高速缓存排出之前没有被使用，则称这个块是死亡块。死亡块预测技术是通过预测死亡块并优先旁路或者排出它们来提高性能。死亡块预测技术根据预测的方法可以分为基于踪迹的、基于时间的和基于计数器的三种。此外，Cache burst方法通过合并连续的访问来提高死亡块预测的准确率。再有，基于采样的死亡块预测方法通过采样一部分访问来训练预测器，从而提高死亡块预测的准确率。

旁路：之前有很多相关研究通过预测并旁路那些在被排出之前没被使用的块来提高性能。根据预测的方法可以分为基于程序计数器（PC，Program Counter）的和基于地址的两种。较少再用过滤器（LRF，Less Reused Filter）通过结合基于PC和基于地址的预测器来提高末级高速缓存的性能。

最近有人提出了一个针对独占末级高速缓存的旁路和插入方法。使用自适应旁路的分段替换（DSB，Dueling Segmented replacement with adaptive Bypassing）通过在失效时记录进入块和排出块的对，然后比较它们中谁先被访问来决定旁路的使用概率。NUcache（Next-Use cache）通过在缓存中单独划分出一块区域来保存远距离重用块，只有由选定的PC带入的块才能进入这个区域，而其它的块则被旁路。

自适应算法：该类方法通过在两个或多个策略中动态选择当前性能最好的策略来提升性能。基于采样的自适应替换（SBAR，Sampling Based Adaptive Replacement）和自适应高速缓存（Adaptive Caches）提出使用额外的标签组来同时实现多个替换算法。DIP提出给每个策略分配一组专用的缓存组来比较它们的性能。

以上这些方法或者性能提升有限，或者需要通过大量的存储开销和对硬件的改动实现。有些甚至需要得到PC等很难在末级高速缓存中得到的信息，因此难以实现。

综上所述可知，需要提出一种在需要很少的硬件开销和对原有设计改动很小的情况下可以达到高性能的末级高速缓存管理方法。

发明内容

本发明所要解决的技术问题是提供一种处理器末级高速缓存的管理方法及系统，在需要很少的开销和对原有硬件改动小的情况下仍能达到高性能。

为了解决上述技术问题，本发明提供了一种处理器末级高速缓存的管理系统，包括末级高速缓存和粗粒度旁路监视器，其中：

粗粒度旁路监视器，用于记录每次末级高速缓存访问失效时的进入块和排出块对，通过学习最优旁路算法的行为指导切换替换模式或旁路模式,该最优旁路算法的行为，通过末级高速缓存后续访问中根据发生的最优旁路算法的条件选择采用替换方法和旁路方法的动作积累形成；根据发生一次末级高速缓存失效中当前记录的进入块标签和排出块标签，若判断满足最优旁路算法的第一条件：进入块的重用距离小于排出块的重用距离，则采用替换方法；否则，采用旁路方法；

末级高速缓存，用于在出现一次块访问失效时，向粗粒度旁路监视器传输块访问失效信息。