[发明专利]一种减少存储器访问延迟方法及系统

说明书

本发明公开了一种减少存储器访问延迟方法，该方法应用于内存控制系统，内存控制系统包括多个级别的高速缓存存储器和主存储器，方法包括：配置存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址具有关联关系的位置映射表；根据位置映射表判断是否命中所述缓存块的目标位置信息；若未命中缓存块的目标位置信息，对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果；根据预测结果直接访问对应的存储器。能够减少多级存储器结构中存储访问加载数据的延迟时间，解决了现有缓存数据预取顺序遍历存储器导致的延迟问题，同时避免了并行查找导致的高硬件开销，对现有内存结构的改动较小。

技术领域

本发明涉及计算机技术领域，尤其涉及一种减少存储器访问延迟方法及系统。

背景技术

随着CPU处理器（central processing unit，中央处理器）的性能不断的更新迭代，高性能的处理器的时钟频率也越来越高。为了减小处理器高速时钟频率与访问存储器所需时间的不断增长的延迟之间的差距，大多数处理器选择使用不同层级的cache存储器（高速缓冲存储器）结构以减少处理器失效代价。目前，主流的处理器大多使用三级cache。即在访问存储器读取数据时，cache按照级别顺序被依次访问，数据搜索的顺序是从L1cache开始，然后为L2 cache、L3 cache。如果三级cache中都没包含所需的数据，就需要访问主存储器了。但是，利用这种方式降低存储器访问延迟是十分困难的，因为随着cache在容量和复杂性的增加，延迟一直呈上升趋势。

对于在此基础上减少延迟的方式，一般通过在处理器进行访问请求之前从存储器中预先获取数据，从而减少延迟，但是这种方式会由于对不同存储级别的存储器顺序查找而增加延迟；另外，还会通过并行查找不同存储级别的存储器来减少延迟，但是这就需要多个缓存块对应的标签，从而增加处理器的功耗和硬件设计复杂度。

发明内容

本发明所要解决的技术问题在于，提供一种减少存储器访问延迟方法及系统，能够减少多级存储器结构中存储访问加载数据的延迟时间，解决了现有缓存数据预取顺序遍历存储器导致的延迟问题，同时避免了并行查找导致的高硬件开销，对现有内存结构的改动较小。

为了解决上述技术问题，本发明第一方面公开了一种减少存储器访问延迟方法，所述方法应用于内存控制系统，所述内存控制系统包括多个级别的高速缓存存储器和主存储器，所述方法包括：配置存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址具有关联关系的位置映射表；根据所述位置映射表判断是否命中所述缓存块的目标位置信息；若未命中所述缓存块的目标位置信息，对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果；根据所述预测结果直接访问对应的存储器。

在一些实施方式中，所述多个级别的高速缓存存储器包括第一级别高速缓存器、第二级别高速缓存器和第三级别高速缓存器，所述对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果，包括：利用计数器分别跟踪第二级别高速缓存器、第三级别高速缓存器和主存储的访问次数；根据各个存储器的访问次数确定预测结果。

在一些实施方式中，根据各个存储器的访问次数确定预测结果，包括：为各个存储器的访问次数进行由高到低顺序的排序，选取最高次序的访问次数对应的存储器确定为预测结果。

在一些实施方式中，根据各个存储器的访问次数确定预测结果，包括：当各个存储器的访问次数均接近于预置的访问阈值，则将各个存储器均确定为预测结果。

在一些实施方式中，根据各个存储器的访问次数确定预测结果，包括：当各个存储器的访问次数均高于预置的访问阈值，则只将至多一个存储器确定为预测结果。

在一些实施方式中，所述方法还包括：当第二级别高速缓存器、第三级别高速缓存器或主存储器中的某一存储器发生命中事件时，将所述某一存储器对应的计数器加一，其他存储器对应的计数器减一。