[发明专利]一种缓存组负载均衡的方法、装置和计算机可读存储介质

说明书

本发明实施例公开了一种缓存组负载均衡的方法、装置和计算机可读存储介质，依据访问地址中携带的组号，从所有缓存组中查找该组号对应的第一缓存组；判断第一缓存组中是否存储有访问地址对应的数据；若否，则依据预先划分的联合组，查找相关联的第二缓存组，并判断第一缓存组是否达到饱和状态以及第二缓存组的剩余存储空间是否满足预设条件；当这两个条件均满足时，则将第一缓存组中优先级最低的缓存行存储的数据转移至第二缓存组中，并将访问地址对应的数据存储于第一缓存组中。通过将缓存组进行联合，可以将压力较大的缓存组中的数据转移至压力较小的缓存组中，有效地解决片上缓存组间压力不均匀的问题，提高了缓存组的利用率以及缓存命中率。

技术领域

本发明涉及数据缓存技术领域，特别是涉及一种缓存组负载均衡的方法、装置和计算机可读存储介质。

背景技术

相比于片上的中央处理器(Central Processing Unit，CPU)，片外主存的高延迟和低带宽一直是影响系统性能的瓶颈。为减轻片外主存和CPU的性能差距，芯片内部都设有缓存空间，存放那些可能被频繁访问的指令和数据，以减少对片外主存的访问。因此，能否有效地利用片上缓存的空间资源，对系统的性能起着至关重要的作用。

片上缓存通常都采用组相联(set-associative)的映射方式，缓存分为多个组(set)，每组包含相同的路数(way)，每一路缓存区域即为一个缓存行。路数的取值通常为2的幂次方，比如8路或16路。

当前缓存通常采用最近最少使用(Least Recently Used，LRU)管理策略进行管理，其可分为三个子策略：1)插入策略，第一次访问的数据被插入到对应缓存组的最高优先级的缓存行中；2)提升策略，缓存组中某个缓存行被访问命中，就把命中的缓存行提升到当前组的最高优先级位置；3)替换策略，缓存组的所有缓存行都已被填充数据，当需要插入新的数据时，选择把最低优先级位置的缓存行数据替换出当前缓存组。

基于当前缓存组的缓存设计，主存访问的压力在片上缓存组间并非都是均匀分布。在程序执行期间，某些缓存组被频繁访问，承担的工作集超过其缓存组的容量，导致其命中率很低；而有些缓存组的某些缓存行可能并没有被有效地利用，存在资源浪费的现象。

针对这种组间压力不均匀的问题，一种比较直观的解决方法是增加组相连度，即增大缓存组的路数，比如先前8路，可增大至16路。这种增加组相连度的方式，就像把两个组进行合并，以分摊两个组的工作集，达到低压力的缓存组分担高压力缓存组的目的。然而，这种增加组相连度的方式，不仅会增加缓存访问的延迟和能耗，而且会导致缓存管理的复杂度上升。并且增加组相连度并不会提高缓存组总的命中率。

可见，如何解决片上缓存组间压力不均匀的问题，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种缓存组负载均衡的方法、装置和计算机可读存储介质，可以解决片上缓存组间压力不均匀的问题，提高缓存组的利用率以及缓存命中率。

为解决上述技术问题，本发明实施例提供一种缓存组负载均衡的方法，包括：

依据访问地址中携带的组号，从所有缓存组中查找所述组号对应的第一缓存组；

判断所述第一缓存组中是否存储有所述访问地址对应的数据；

若所述第一缓存组中未存储所述访问地址对应的数据，则依据预先划分的联合组，查找与所述第一缓存组相关联的第二缓存组；

判断所述第一缓存组是否达到饱和状态，并且所述第二缓存组的剩余存储空间是否满足预设条件；

若是，则将所述第一缓存组中优先级最低的缓存行存储的数据转移至所述第二缓存组中，并将所述访问地址对应的数据存储于所述第一缓存组中。

可选的，所述联合组的划分过程包括：