[发明专利]一种基于时间局部性的DRAM缓存管理方法及系统

说明书

本发明公开了一种基于时间局部性的DRAM缓存管理方法及系统，属于计算机缓存技术领域。本发明系统包括时间局部性监测模块、动态决策模块和调度管理模块：时间局部性监测模块用于对用户请求的时间局部性进行监测，根据监控结果计算写回和填充的概率并提交给调度管理模块；动态决策模块采用组决斗的方法以核为单位动态的决定下一阶段是否部署时间局部性管理策略，避免了由于写回和填充过滤带来的DRAM缓存命中率下降的问题，使系统性能更加的稳定；调度管理模块根据监测模块和动态决策模块的结果来管理写回和填充到DRAM缓存的请求。本发明在工作过程中，对用户层完全透明，同时由于监控不在请求访问的关键路径上，因此对系统性能几乎没有任何影响。

技术领域

本发明属于计算机缓存技术领域，更具体地，涉及一种基于时间局部性的DRAM缓存管理方法及系统。

背景技术

随着处理器核数的不断增加，现代应用所需的缓存容量也越来越大，传统的基于SRAM的缓存已无法满足需求，SRAM的低密度、高功耗特点使得进一步增大SRAM容量变得不切实际。虽然DRAM能够提供相对于SRAM几倍的带宽，但是由于它的高延迟特点，DRAM一直以来仅仅被用作主存。然而，最近采用一些新技术，如die-stacking技术大大提高了DRAM的性能，堆叠DRAM可以提供片外DRAM几倍的带宽优势，同时延迟降为原来的一半甚至三分之一。

要想更好的利用DRAM缓存，需要解决一些挑战。由于SRAM与DRAM性质存在很大区别，DRAM缓存的设计主要分为细粒度和粗粒度，细粒度一般是以64B的块进行组织的，粗粒度则是以KB级的页进行组织的：

细粒度的设计会导致很高的标签存储开销，这个开销远大于最后一级SRAM缓存，这强迫设计者将标签存放在DRAM缓存之中，串行化标签、数据访问和使用组相连缓存会进一步增大命中延迟开销，目前，主要有两个方案来解决标签和数据串行化访问带来的延时问题：一是将标签和数据放置在同一行，通过行缓冲命中来降低DRAM缓存的命中时延；另一个通过直接组相连的方式，将标签和数据紧紧的放置在一起，通过一次访问将标签和数据同时流出从而完全消除标签、数据串行化的问题；细粒度的设计无法利用应用的空间局部性，这使得其命中率相对较低，细粒度是优势在于有效的使用片外主存带宽和缓存容量；

粗粒度的设计使标签的存储开销大大降低，这使得标签可以存放在SRAM之中，进而加快访问时间。通过利用空间局部性，它可以较细粒度提高命中率。粗粒度设计的限制在于带宽浪费和排队竞争的问题。同时，粗粒度的缓存块会降低缓存的有效容量，使多线程应用性能下降。随着DRAM缓存容量的不断提高，所需的标签存储不断加大，即使使用粗粒度技术，也无法将标签存储在SRAM之中。

盲目的将优秀的SRAM缓存管理策略应用到DRAM缓存上可能会导致性能下降。因此，应该根据DRAM的特性，使用新奇的技术应用在DRAM缓存之上：对于几十兆和几百兆的DRAM缓存，可以提供片外主存2倍的带宽和低于一半的命中延时，然而DRAM缓存的设计需要执行一些附加的操作，这些附加操作包括：写回更新、写回填充、不命中填充等。这些附加操作会导致大量的带宽消耗，而带宽消耗带来的最直接影响就是DRAM缓存的排队时延增大。对于DRAM缓存，它的命中时延由两部分组成，DRAM缓存的访问时延和排队时延，当DRAM缓存的带宽消耗过大时，排队时延甚至要超过访问时延成为决定DRAM缓存命中时延的主要因素。现有的一些DRAM缓存管理策略虽然可在一定程序上缓解该问题，但存在硬件开销过大、没有考虑CPU上各个核之间的差异性等问题，目前还缺乏一种在通用计算机上的在线低开销的堆叠DRAM缓存管理机制。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于时间局部性的DRAM缓存管理方法及系统，其目的在于实时监测用户请求的时间局部性，根据监测结果计算写回和填充概率，之后采用组决斗的方法以核为单位动态的决定下一阶段是否部署时间局部性管理策略，避免了由于写回和填充过滤带来的DRAM缓存命中率下降的问题，使系统性能更加的稳定，由此解决现有方法中存在的开销过大、没有考虑CPU上各个核之间的差异性等技术问题。