[发明专利]一种用于减少存储器系统的存储器访问等待时间的方法和装置

说明书

一种方法包括监测从倒数第二级高速缓存到主存储器的推测性存储器读取请求的请求率。所述推测性存储器读取请求对应于所述倒数第二级高速缓存中未命中的数据读取请求。监测针对由所述数据读取请求所请求的数据搜索末级高速缓存的命中率。基于所述请求率和所述命中率，与针对对应的核心需求数据读取请求的数据搜索所述末级高速缓存并行地选择性地启用到所述主存储器的核心需求推测性存储器读取请求。基于所述请求率和所述命中率，与针对对应的预取数据读取请求的数据搜索所述末级高速缓存并行地选择性地启用到所述主存储器的预取推测性存储器读取请求。

背景技术

通常，为了弥合处理器核心速度与主存储器速度之间的差距，处理器系统使用多级高速缓存层次结构，其中每个高速缓存大于其前导者并且快于其后继者。图1示出示例性处理系统，其包括具有三个高速缓存级别和主存储器的多级高速缓存层次结构。处理系统100包括处理器102，所述处理器102具有耦合到二级高速缓存110的拆分的一级高速缓存(例如，指令高速缓存106和数据高速缓存108)。三级高速缓存112在处理器102的外部并且与主存储器114通信，所述主存储器114可包括常规片外动态随机存取存储器(DRAM)、更快的片上DRAM和/或包括存储器技术，诸如DRAM、静态随机存取存储器(SRAM)、相变存储器、忆阻器或其他存储器类型)的混合。通过访问主存储器114来服务来自末级高速缓存(例如，三级高速缓存112)的未命中具有高的存储器访问等待时间(例如，至少200个时钟周期的存储器访问等待时间)，这可显著影响系统性能。因此，期望用于访问存储器的改进的技术。

发明内容

在至少一个实施方案中，一种用于减少存储器系统的存储器访问等待时间的方法包括监测从倒数第二级高速缓存到主存储器的推测性存储器读取请求的请求率。所述推测性存储器读取请求对应于所述倒数第二级高速缓存中未命中的数据读取请求。所述推测性存储器读取请求中的每一个是核心需求推测性存储器读取请求或预取推测性存储器读取请求。所述数据读取请求中的每一个是核心需求数据读取请求或预取数据读取请求。所述方法包括监测针对由所述数据读取请求所请求的数据搜索末级高速缓存的命中率。所述推测性存储器读取请求中的每一个与针对对应数据搜索所述末级高速缓存并行地发出。所述方法包括基于所述请求率和所述命中率，与针对对应的核心需求数据读取请求的数据搜索所述末级高速缓存并行地选择性地启用到所述主存储器的核心需求推测性存储器读取请求。所述方法包括基于所述请求率和所述命中率，与针对对应的预取数据读取请求的数据搜索所述末级高速缓存并行地选择性地启用到所述主存储器的预取推测性存储器读取请求。所述推测性存储器读取请求中的每一个可以是与所述搜索并行地发出的实际推测性存储器读取请求或未实现的推测性存储器读取请求。

在至少一个实施方案中，一种存储器系统包括倒数第二级高速缓存、末级高速缓存、主存储器、第一计数器、第二计数器以及与所述倒数第二级高速缓存相关联的控制器。所述第一计数器被配置为存储从所述倒数第二级高速缓存到所述主存储器的推测性存储器读取请求的请求率。所述推测性存储器读取请求中的每一个响应于倒数第二级高速缓存中对应的数据读取请求的未命中。所述第二计数器被配置为存储针对所述倒数第二级高速缓存中未命中的数据读取请求的数据搜索所述末级高速缓存的命中率的指示符。所述控制器被配置为基于所述请求率、所述命中率、预定请求率阈值和预定命中率阈值，与所述搜索并行地选择性地启用到所述主存储器的预取推测性存储器读取请求。所述控制器被配置为基于所述请求率、所述命中率、所述预定请求率阈值和所述预定命中率阈值，与所述搜索并行地选择性地启用到所述主存储器的预取推测性存储器读取请求。所述推测性存储器读取请求中的每一个是核心需求推测性存储器读取请求或预取推测性存储器读取请求。所述推测性存储器读取请求控制器可被配置为响应于所述倒数第二级高速缓存中的每个未命中而使所述第一计数器递增，响应于所述末级高速缓存中的每个命中而使所述第二计数器递增，并且周期性地重置所述第一计数器和所述第二计数器。